Professor: Eduardo Bezerra (CEFET-RJ)

Horarios: Segunda 01/02 a quinta 04/02 de 15:30h às 17:00h

Objetivo: O objetivo do minicurso é apresentar uma introdução à aprendizagem profunda. São apresentados conceitos básicos da área, técnicas relacionadas ao treinamento e a avaliação de modelos. São também descritas algumas das principais arquiteturas de redes profundas, além de algumas aplicações. São apresentados exemplos de código por meio do framework PyTorch.

Ementa:

1. Conceitos básicos de RNAs; timeline.
2. Técnicas de treinamento (batch GD, dropout, early stopping, model selection, model evaluation...); Convolutional Nets.
3. Recurrent Nets (LSTMs).
4. Considerações finais: aplicações; outras arquiteturas de rede (GANs, BDL, Transformers, ...)

Bibliografia:

1. Carl Doersch. Tutorial on variational autoencoders. CoRR, abs/1606.05908, 2016.
2. Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016. http://www.deeplearningbook.org.
3. Ian Goodfellow, et al. Generative adversarial nets. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27, pages 2672–2680. Curran Associates, Inc., 2014.
4. Sepp Hochreiter and Ju ̈rgen Schmidhuber. Long short-term memory. Neural Comput., 9(8):1735–1780, November 1997
5. Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 25, pages 1097–1105. Curran Associates, Inc., 2012.
6. Michael A. Nielsen. Neural networks and deep learning, 2018.
7. J. Schmidhuber. Deep learning in neural networks: An overview. Neural Networks, 61:85–117, 2015. Published online 2014; based on TR arXiv:1404.7828 [cs.NE].
8. Hao Wang and Dit-Yan Yeung. Towards bayesian deep learning: A survey. CoRR, abs/1604.01662, 2016.