Der Kurs bietet einen Überblick über mehrere fortgeschrittene Themenbereiche innerhalb Deep Learning, die neue Anwendungstypen ermöglichen und inzwischen oft schon Teil des Alltags geworden sind.

Zu jedem Haupttyp (GAN, RNN, Transformer) wird mindestens ein Beispiel ausführlich durchgeführt, teilweise als Jupyter Notebook, teilweise in einer IDE wie Visual Studio Code. Zusätzlich werden Beispiele mit vorgegebenem Code ausgeführt und untersucht sowie einige moderne Netzwerke in ihren Grundideen vorgestellt wie z.B. BERT und GPT Varianten.

Der Kurs gibt darüber hinaus mathematische Hintergrundinformationen sowie Tipps für die praktische Realisierung als Softwareprojekt.

Inhalt

Generative adversarial networks

• Einsatzgebiete

• Spezielle Loss-Funktionen

• Einfacher Fall: MLPs ausreichend

• Komplexer mit Deep Convolutional GANS: Face generation

• Moderne Varianten (Wasserstein GAN, CycleGAN)

• Überblick generative ModelleMathematische Grundlagen

• Vektoren und Linearkombinationen

• Matrizen, lineare Transformationen

• Analysis in höheren Dimensionen

• Partielle Ableitungen

• Kettenregel und andere Regeln

• Geometrische Intuition

• Oft gebrauchte Funktionen

Recurrent neural networks

• Sequentielle Daten als Input und/oder Output

• Embeddings

• Backpropagation through time

• Problem vanishing / exploding gradient

• LSTM Intuition

• Variante GRU

• Seq2seq Modelle: Encoder/Decoder

• Attentionmechanimus in RNNs

• Einsatzbeispiele: Chatbots, Übersetzungen

Transformer

• Attention ohne RNN, Intuition

• Self Attention, Multi head attention

• Queries, Keys, Values

• Originale Transformer Architektur

• Nur Encoding: BERT

• Nur Decoding: GPT

• Large Language Models

• Finetuning (ähnlich Transfer Learning bei CNN)

• Einsatzmöglichkeiten: Sentimentanalyse, Übersetzung u.a.

• Qualitätsmaß BLEU score

Ausblicke

• Transformer für Bilder

• Weiterentwicklung bei CNNs

• Umfeld: Unternehmen und Dienste (Kaggle, HuggingFace, ...)

• Vereinfachung/Wrapper für Pytorch: Lighting

• Ausführung in der Cloud, Services bei AWS u.a.

• Grundidee Diffusion Modelle zur Generierung von Audio und Bildern

• Kurzvorstellung Reinforcement Learning