Calendario

1. Método del Descenso del gradiente
2. Breve introducción a Redes Neuronales
3. Teorema de Representación Universal
4. Redes Neuronales Profundas

• La compensación sesgo-varianza bias-variance tradeoff
• Cómo controlar la complejidad del modelo afecta sesgo, varianza y error de la función de pérdida.
• Bibliografía: ISLP

1. La intuición de backpropagation (propagación hacia atrás de los errores)
2. Modelo de juguete con función de una sola variable
3. Deducción de las derivadas parciales e intuición de paso hacia adelante y atrás.

Algoritmos de optimización

1. Adam optimizer normal y con momemtum.

Backpropagation Parte 2

1. Matemáticas necesarias
2. Paso adelante de backpropagation
3. Paso hacia atrás por backpropagation
4. Diferenciación algorítmica
5. Código template

Contenido

• Necesidad de inicialización
• Inicialización He
• Valores esperados
• Demostrar que $E[f_i]=0$
• Escribir la varianza de las preactivaciones f’ en términos de las activaciones h en la capa anterior $\sigma_{f^{\prime}}^2=\sigma_{\Omega}^2 \sum_{j=1}^{D_h} \mathbb{E}\left[h_j^2\right]$
• Escribir la varianza de las preactivaciones f’ en términos de las preactivaciones f de la capa anterior $\sigma_{f^{\prime}}^2=\frac{D_h \sigma_{\Omega}^2 \sigma_f^2}{2}$
• Inicialización Xavier
• Experimentos

Contenido de la clase

• Procesamiento digital de imágenes
• Operadores pixel - pixel
• Operadores de vecindad
• Kernels
• Operación de Convolución

Imágenes para el nb

• Darkbook
• Darkphoto
• Family
• Motors
• Real Madrid
• Totti

Contenido de la clase

• Motivación para las CNN
• Convolución 1D, 2D
• Capas de Pooling
• Cantidad de parámetros por componente

Nota 28/06/25

• El notebook v2 no es la última versión. Usen v3 de clase 3

Contenido de la clase

• Dropout
• ImageNet
• AlexNet
• Ejemplo de PyTorch con dataset SignMnist

Nota 28/06/25

• El notebook v2 no es la última versión. Usen v3 de clase 3

Contenido de la clase

• Residual Networks (ResNets)
• Laboratorio: Keras con dataset SignMnist

Contenido de la clase

• Redes Encoder-Decoder
• Segmentación con ejemplo de UNET

Contenido de la clase

• Autoencoders
• Aplicación: denoising!
• Ventajas
• Stacked Autoencoders

Contenido de la clase

• Transformers: De Tokenizers a Embeddings
• Interpretación semántica
• Operaciones sobre embeddings
• Ejemplos

Contenido de la clase

• Motivación
• Producto escalar self-attention
• Forma matricial
• El transformer
• Pipeline NLP
• Decoders
• Modelos de lenguaje grande (LLMs)