Optimizadores en redes neuronales profundas: un enfoque práctico

Cuando nos enfrentamos al entrenamiento de una red neuronal, la decisión de que optimizador seleccionar parece estar envuelta en un halo de misterio, ya que en general la literatura alrededor de los optimizadores requiere de bastante bagaje matemático.

De cara a definir un criterio práctico, vamos a realizar una serie de experimentos para ver el comportamiento de diferentes optimizadores en problemas canónicos del aprendizaje automático. Así podremos elegir un optimizador de forma sencilla.