El modelo de Hopfield es un tipo de memoria auto-asociativa.

Esto significa que puede memorizar cierta cantidad de patrones y después reconstruirlos a partir de patrones parciales, patrones con ruido u otro tipo de estímulo.

En este caso cada pixel corresponde a una neurona conectada con todas las demás.

Una de las limitaciones de este modelo es la cantidad de patrones que puede memorizar y que no siempre reconstruye el patrón que se esperaba.

figura video/snap-01-hopfield.png

Las Máquinas de Boltzmann Restringidas (RBM) permiten superar las limitaciones del modelo de Hopfield.

Cuando se las usa apiladas [DBN]* pueden extraer características con distintos niveles de abstracción de los datos.

Dado que lo que aprenden es la probabilidad condicional en ambas direcciones también pueden usarse para generar patrones.

DBN* : Deep Believe Networks.

figura video/snap-02-rbm.png

Los auto-encoders funcionan de forma similar a las Máquinas Restringidas de Boltzmann.

Tienen la ventaja de brindar una mayor flexibilidad tanto en el tipo de arquitectura cómo en el proceso de entrenamiento.

Por ejemplo pueden usarse para aprender una característica específica de un subconjunto de datos y utilizar esa codificación para generar nuevas variantes de patrones.

figura video/snap-03-autoenc.png

Las redes neuronales recurrentes son utilizadas con datos secuenciales.

Para poder hacer esto algunas neuronas están conectadas con neuronas anteriores formando un ciclo entre sus conexiones.

Los modelos más sencillos son fáciles de entrenar pero tienen limitaciones con secuencias largas.

figura video/snap-04-rnn.png

Las Long Short-Term Memory son capaces de asociar dos elementos muy distantes en una secuencia.

Brindan además la posibilidad de trabajar entre patrones y secuencias de distintas maneras.

Sin embargo se alejan en cierta medida del paradigma coneccionista al utlizar algunas soluciones un poco artificiales.

figura video/snap-05-lstm.png

Muchas de estos modelos no son realmente nuevos. Yann LeCun ya estaba obteniendo resultados sorprendentes con su modelo de redes convolucionales en 1993.

Si embargo, gracias al mayor poder de procesamiento y al acceso a mejores conjuntos de datos, más recientemente se produjo un resurgimiento de la disciplina.

figura video/snap-06-lecun_93.png

Las redes convolucionales funcionan de forma similar al sistema visual humano.

Utilizan varias etapas en donde la información se va dividiendo y reorganizando progresivamente varias veces.

figura video/snap-07-convnet.png