Redes Neuronales: Alfa-Beta y Morfológicas

 
 

 

 
          

(Se recomienda al amable lector que, si no lo ha hecho, lea previamente las secciones: Memorias Asociativas, Morfología Matemática y Soft Computing)

Desde tiempos remotos, los seres humanos han tenido la ilusión de construir máquinas inteligentes, que se comporten como el cerebro humano, que lo emulen en las actividades que cotidianamente puede realizar una persona normal. Las leyendas sobre autómatas, robots y hombres mecánicos han pululado por miles de años, y continúan en nuestros días.

Una preocupación real de quienes han estado involucrados en los intentos de crear modelos de máquinas inteligentes, es tratar de entender cómo funcionan las neuronas del cerebro humano y sus mecanismos de operación e interacción.

El año de 1943 ha sido marcado por un hecho de gran trascendencia. Dos científicos estadunidenses de la University of Illinois, el sicólogo Warren Sturgis McCulloch y un joven matemático autodidacta de 17 años llamado Walter Pitts (de tortuosa, breve y misteriosa vida), publicaron el primer modelo matemático serio de neurona artificial de que se tenga noticia: la neurona de McCulloch-Pitts [1].

Dadas las condiciones de guerra que imperaban en el mundo en esa época, el artículo pasó casi desapercibido; no obstante, catorce años después, la neurona de McCulloch-Pitts fue la base fundamental sobre la que Frank Rosenblatt, sicopatólogo experimental del Cornell Aeronautical Laboratory, en 1957 inventó el perceptron [2].

La relevancia del perceptron reside en que fue la primera máquina que aprendía artificialmente: ha pasado a la historia como la primera red neuronal (basada en las neuronas de McCulloch-Pitts) que clasificaba patrones de manera automática. El perceptron de Rosenblatt despertó gran entusiasmo en la comunidad científica mundial, y en todo el orbe los científicos y tecnólogos iniciaron una frenética búsqueda de reglas de aprendizaje para mejorar la eficacia y el rendimiento de los perceptrones.

Así, en 1960, Bernard Widrow y Marcian Hoff de Stanford, desarrollaron el ADALINE (Adaptive Linear Element), aplicando la regla delta de aprendizaje [3]. Fue tal el éxito de ADALINE cuando Widrow y Hoff aplicaron su red neuronal a la eliminación de ecos en las líneas telefónicas, que poco después apareció una extensión llamada MADALINE (Multiple ADALINEs) [4].

El entusiasmo duraría sólo nueve años más, período en el cual muchos científicos fracasaron al intentar aplicar sus modelos de reglas de aprendizaje, ideados al calor de los éxitos de las redes de neuronas de McCulloch-Pitts, cristalizadas en los perceptrones y las redes de Widrow y Hoff.

En 1969 se publicó un libro: su título era Perceptrons y sus autores Marvin Minsky y Seymour Papert, quienes eran dos preclaros científicos del afamado MIT (Massachusetts Institute of Technology) [5]. Según el criterio de muchos autores serios en el área de las redes neuronales artificiales, la aparición de este libro marcó el nacimiento de una era de oscurantismo en el área, en virtud de que Minsky y Papert plantearon de manera muy pesimista las limitaciones de los perceptrones, al grado de afirmar que era estéril buscar el desarrollo de perceptrones más eficaces que los que existían en esa época.

Habían de pasar trece años para que esa época de pesimismo terminara y se iniciase una nueva era para las redes neuronales artificiales [6]. Al igual como lo hizo con las memorias asociativas, el responsable del resurgimiento de las redes neuronales en 1982 fue el físico estadunidense John Hopfield.

Si 1972 fue el año de los pioneros en el área de las memorias asociativas, 1982 fue el año de John J. Hopfield. Su artículo de ese año [7], publicado por la prestigiosa y respetada National Academy of Sciences (en sus Proceedings), impactó positivamante y trajo a la palestra internacional su memoria asociativa, que al mismo tiempo es una red neuronal. Dos años después, publicaría su segundo artículo, donde presentaba una extensión de su modelo original [8].

Las autorizadas voces de los editores del compendio Neurocomputing [6] aseguran que la era moderna de las redes neuronales (y de las memorias asociativas) nace a raíz de la publicación del artículo de Hopfield; afirman que el éxito de este artículo se debe en gran parte a que, además de tener un estilo claro, coherente y sofisticado, fue escrito por el distinguido y reconocido físico John J. Hopfield, en cuyas manos la teoría se convierte en algo legítimo y respetable.

La formación como físico del autor queda de manifiesto cuando declara que en los sistemas físicos constituidos por un gran número de elementos simples, las interacciones entre estos elementos dan lugar a fenómenos colectivos (las orientaciones de los dominios en sistemas magnéticos y los patrones de vórtices en sistemas de fluidos ejemplifican esta afirmación).

A partir de estas consideraciones, Hopfield se pregunta si la interacción de elementos simples de procesamiento similares a las neuronas, cuyo modelo simplificado se conocía desde hacía cuatro décadas [1], da lugar a la aparición de propiedades computacionales colectivas, tales como la estabilidad de memorias; acto seguido, el autor afirma que en efecto, su artículo de 1982 demuestra que este tipo de propiedades computacionales aparecen espontáneamente.

El trabajo de Hopfield ha tenido un gran impacto en las áreas de memorias asociativas y redes neuronales. Invitamos al lector a que verifique esta afirmación mediante una búsqueda en google con la palabra clave "Hopfield"; es sorprendente la cantidad de trabajos científicos, ingenieriles y de aplicación a que ha dado lugar el conjunto de ideas plasmadas por John Hopfield en sus trabajos científicos.

Entre los científicos que incursionaron de nuevo en redes neuronales motivados por el trabajo de Hopfield, algunos se dedicaron a tratar de darle un nuevo impulso al longevo perceptron: tres científicos estadunidenses (Rumelhart, Hinton & Williams) lo lograron al inventar en 1986 el algoritmo backpropagation para entrenar perceptrones multicapa [9].

No obstante los éxitos que ha tenido la aplicación de backpropagation, un nuevo impulso a las redes neuronales acaeció en 1996 cuando Gerhard X. Ritter y sus colaboradores crearon y desarrollaron las redes neuronales morfológicas [10-15]. Estas redes neuronales usan máximos o mínimos de sumas, a diferencia de las redes neuronales anteriores, las cuales basan su funcionamiento en sumas de productos. Con este nuevo esquema y con la incorporación de las nuevas ideas sobre redes neuronales dendríticas, las redes neuronales morfológicas han igualado y en ocasiones superado al rendimiento de las redes neuronales backpropagation.

Del mismo modo como las operaciones binarias Alfa y Beta presentadas por primera vez en [16] dieron lugar al surgimiento de un nuevo tipo de memorias asociativas que igualaron y mejoraron a las memorias asociativas morfológicas, estas mismas operaciones binarias Alfa y Beta han sido la base teórica que sustentra el surgimiento, desarrollo y aplicaciones de las redes neuronales Alfa-Beta [17, 18]. Los creadores de este nuevo modelo de redes neuronales tiene como una de sus principales motivaciones el generar un producto de investigación autóctono, original, que eventualmente contribuya con su granito de arena a avanzar en el afán de lograr ese noble propósito de independencia científica y tecnológica para nuestro país.


Se recomienda al amable lector que continúe en la sección: Aplicaciones

Referencias
 [1]   McCulloch, W. & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous
       activity, Bulletin of Mathematical Biophysics, 5, 115-133.
 [2]   Rosenblatt, F. (1962). Principles of Neurodynamics: Perceptrons and the Theory of 
       Brain Mechanisms, Spartan Books, Washington DC.
 [3]   Widrow, Bernard, & Hoff, Marcian, E. (1960) Adaptive Switching Circuits, 1960 
       IRE WESCON Convention Record, New York: IRE pp. 96-104
 [4]   Widrow, Bernard. (1962). Generalization and information Storage in Networks of 
       Adaline Neurons. In M.C. Yovits, G.T. Jacobi, & G.D. Goldstein (Eds.), Self-Organizing 
       Systems. Washington D.C.: Spartan Books.
 [5]   Minsky, M. & Papert, S. (1988). Perceptrons, Cambridge: MIT Press.
 [6]   Anderson, J. A. & Rosenfeld, E. (Eds.) (1990). Neurocomputing: Fundations of Research,
       Cambridge: MIT Press.
 [7]   Hopfield, J.J. (1982). Neural networks and physical systems with emergent collective
       computational abilities, Proceedings of the National Academy of Sciences, 79, 2554-2558.
 [8]   Hopfield, J.J. (1984). Neurons with graded respose have collective computational 
       properties like those of two-state neurons, Proceedings of the National Academy of 
       Sciences, 81, 3088-3092.
 [9]   Rumelhart, D.E., Hinton, G.E. & Williams, R.J. (1986). Learning internal 
       representations by error propagation, in D. Rumelhart and J. McClelland, editors. 
       Parallel Data Processing, Vol.1, Chap. 8, the M.I.T. Press, Cambridge, MA, pp. 318-362.
 [10]  Ritter, G.X. & Sussner, P. (1996). An Introduction to Morphological Neural Networks, 
       in Proceedings of the 13th International Conference on Pattern Recognition, Volume IV, 
       Track D, pp. 709-717, Vienna, Austria. 
 [11]  Ritter, G.X. & Sussner, P. (1996). Morphological Neural Networks, in the proceedings 
       of the international multidisciplinary conference on Intelligent Systems: A Semiotic 
       Perspective, pp. 221-226, Gaithersburg, Maryland.
 [12]  Ritter, G.X. & Sussner, P. (1997). Morphological Perceptrons, in the proceeding of 
       International Conference on Intelligent Systems and Semiotics - A Learning Perspective,
       Gaithersburg, Maryland.
 [13]  Sussner, P. (1998). Morphological Perceptron Learning, in the proceedings of 
       the 1998 International Symposium on Intelligent Systems and Semiotics, pp. 477-482, 
       Gaithersburg, Maryland.
 [14]  Raducanu, B., Grana, M. & Sussner, P. (2001). Morphological Neural Networks for 
       Vision Based Self-Localization, in Proceedings of the International Conference on 
       Robotics and Automation, pp. 2059-2064, Seoul, South Korea.
 [15]  Raducanu, B., Grana, M. & Sussner, P. (2001). Advances in Mobile Robot 
       Self-Localization using Morphological Neural Networks", in Proceedings of 
       IFAC 2001, pp. 146-151, Cheju Island, South Korea.
 [16]  Yáñez-Márquez, C., Memorias Asociativas basadas en 
       Relaciones de Orden y Operadores Binarios. Tesis doctoral, CIC-IPN, México, 2002.
 [17]  Yáñez Márquez, C. & Díaz-de-León Santiago, J.L. (2003). Memorias Asociativas Basadas
       en Relaciones de Orden y Operaciones Binarias, Computación y Sistemas 
       (Revista Iberoamericana de Computación incluida en el Índice de CONACyT), Vol. 6, 
       No. 4, México, pp. 300-311. ISSN 1405-5546.
 [18]  Yáñez Márquez, C. & Díaz-de-León Santiago, J.L. (2003).
       Introducción a las memorias asociativas, Serie Research on Computing Science, Vol. 6, 
       Instituto Politécnico Nacional, México. ISBN: 970-360116-2.

 

          
 

 

 

[INICIO] [INVESTIGACIÓN] [TRABAJOS] [CONTACTO] [VÍNCULOS] [MAPA DE SITIO]

 

webmaster@aldape.org.mx