Seminar Tiefe neuronale Netze verstehen

Deep Learning und DNN-Konzepte

Einführung KI, Maschinelles Lernen & Deep Learning

• Geschichte, Grundkonzepte und übliche Anwendungen der künstlichen Intelligenz weit entfernt von den Phantasien, die dieser Bereich in sich trägt
• Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird
• Genetische Algorithmen: um eine Population von virtuellen Agenten durch Selektion zu entwickeln
• Gewöhnliche Lernmaschine: Definition
• Aufgabentypen: überwachtes Lernen, unüberwachtes Lernen, Verstärkungslernen
• Aufgabentypen: Klassifikation, Regression, Clustering, Dichteschätzung, Dimensionalitätsreduktion
• Beispiele für Algorithmen des maschinellen Lernens: Lineare Regression, Naive Bayes, Zufallsbaum
• Maschinelles Lernen VS Deep Learning: Probleme, bei denen Maschinelles Lernen heute noch Stand der Technik ist (Random Forests & XGBoosts)

Grundlegende Konzepte eines Neuronalen Netzes

• Erinnerung an mathematische Grundlagen
• Definition eines Netzes von Neuronen: klassische Architektur, Aktivierung und
• Gewichtung vorheriger Aktivierungen, Tiefe eines Netzes
• Definition des Lernens eines Netzes von Neuronen: Kostenfunktionen, Back-Propagation, Stochastischer Gradientenabstieg, Maximum Likelihood
• Modellierung eines neuronalen Netzes: Modellierung der Eingangs- und Ausgangsdaten je nach Art des Problems (Regression, Klassifikation ) Fluch der Dimensionalität
• Unterscheidung zwischen Multi-Feature-Daten und Signal Wahl einer Kostenfunktion in Abhängigkeit von den Daten
• Approximation einer Funktion durch ein Netz von Neuronen: Darstellung und Beispiele
• Approximation einer Verteilung durch ein Netzwerk von Neuronen: Präsentation und Beispiele
• Datenerweiterung: wie man einen Datensatz ausbalanciert
• Verallgemeinerung der Ergebnisse eines Netzes von Neuronen
• Initialisierung und Regularisierung eines neuronalen Netzes: L1 / L2 Regularisierung, Batch-Normalisierung
• Optimierungs- und Konvergenzalgorithmen

Standard ML / DL Werkzeuge

• Eine einfache Darstellung mit Vorteilen, Nachteilen, Position im Ökosystem und Verwendung ist geplant
• Datenmanagement-Tools: Apache Spark, Apache Hadoop Werkzeuge
• Maschinelles Lernen: Numpy, Scipy, Sci-kit
• DL-High-Level-Frameworks: PyTorch, Keras, Lasagne
• DL-Frameworks auf niedriger Ebene: Theano, Torch, Caffe, Tensorflow

Faltungsneuronale Netze (CNN)

• Vorstellung der CNNs: Grundprinzipien und Anwendungen
• Grundlegende Funktionsweise eines CNNs: Faltungsschicht, Verwendung eines Kernels,
• Padding & Stride, Erzeugung von Feature-Maps, Pooling-Schichten Erweiterungen 1D, 2D und 3D
• Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Klassifikation gebracht haben
• Bilder: LeNet, VGG-Netzwerke, Netzwerk im Netzwerk, Inception, Resnet Präsentation der Innovationen, die jede Architektur mit sich brachte, und deren globalere Anwendungen (Convolution 1x1 oder Residualverbindungen)
• Anwendung eines Aufmerksamkeitsmodells
• Anwendung auf einen allgemeinen Klassifikationsfall (Text oder Bild)
• CNNs zur Generierung: Super-Resolution, Pixel-to-Pixel-Segmentierung Vorstellung von
• Hauptstrategien zur Vergrößerung von Feature-Maps für die Bilderzeugung

Rekurrente Neuronale Netze (RNN)

• Vorstellung von RNNs: Grundprinzipien und Anwendungen
• Grundlegende Funktionsweise des RNN: versteckte Aktivierung, Rückpropagation durch die Zeit, Unfolded Version
• Weiterentwicklungen zu den Gated Recurrent Units (GRUs) und LSTM (Long Short Term Memory)
• Darstellung der verschiedenen Zustände und der Entwicklungen, die diese Architekturen mit sich bringen
• Konvergenz- und Vanising-Gradient-Probleme
• Klassische Architekturen: Vorhersage einer zeitlichen Reihe, Klassifikation
• Architektur vom Typ RNN Encoder Decoder Verwendung eines Aufmerksamkeitsmodells
• NLP-Anwendungen: Wort-/Zeichenkodierung, Übersetzung
• Video-Anwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz

Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN)

• Vorstellung der generativen Modelle, Verknüpfung mit den CNNs
• Auto-Encoder: Reduktion der Dimensionalität und begrenzte Generierung
• Variationaler Auto-Encoder: Generationsmodell und Approximation der Verteilung einer gegebenen Definition und Verwendung des latenten Raums Trick der Reparametrisierung Anwendungen und Grenzen beobachtet
• Generative Adversarial Netze: Grundlagen
• Duale Netzarchitektur (Generator und Diskriminator) mit alternativem Lernen, verfügbare Kostenfunktionen
• Konvergenz eines GANs und aufgetretene Schwierigkeiten
• Verbesserte Konvergenz: Wasserstein GAN, Angefangen Erdbewegte Entfernung
• Anwendungen für die Generierung von Bildern oder Fotos, Texterzeugung, Super-Resolution

Deep Reinforcement Learning

• Vorstellung von Reinforcement Learning: Steuerung eines Agenten in einer definierten Umgebung
• Durch einen Zustand und mögliche Aktionen
• Verwendung eines neuronalen Netzes zur Approximation der Zustandsfunktion
• Deep Q Learning: Erfahrungswiedergabe und Anwendung auf die Steuerung eines Videospiels
• Optimierung der Lernpolitik On-Policy && Off-Policy Akteurskritische Architektur A3C
• Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen SystemsDNN mit Tensorflow

TensorFlow-Grundlagen

• Erstellen, Initialisieren, Speichern und Wiederherstellen von TensorFlow-Variablen
• Füttern, Lesen und Vorladen von TensorFlow-Daten
• Wie man die TensorFlow-Infrastruktur zum Trainieren von Modellen im großen Maßstab verwendet
• Visualisieren und Auswerten von Modellen mit TensorBoard

TensorFlow Mechanik

• Vorbereiten der Daten
• Herunterladen von
• Eingaben und Platzhalter
• Den Graphen aufbauen
  • Inferenz
  • Verlust
  • Trainieren
• Das Modell trainieren
  • Der Graph
  • Die Sitzung
  • Schleife trainieren
• Auswerten des Modells
  • Erstellen des Auswertungsgraphen
  • Eval-Ausgabe

Das Perzeptron

• Aktivierungsfunktionen
• Der Perceptron-Lernalgorithmus
• Binäre Klassifikation mit dem Perceptron
• Dokumentenklassifikation mit dem Perceptron
• Grenzen des Perceptrons

Vom Perceptron zur Support-Vektor-Maschine

• Kerne und der Kernel-Trick
• Maximum-Margin-Klassifikation und Support-Vektoren

Künstliche Neuronale Netze

• Nichtlineare Entscheidungsgrenzen
• Künstliche Neuronale Netze mit Vorwärtskopplung und Rückkopplung
• Mehrschichtige Perceptrons
• Minimierung der Kostenfunktion
• Vorwärtspropagierung
• Rückwärtspropagation
• Verbessern der Lernweise neuronaler Netze

Faltungsneuronale Netze

• Ziele
• Modell-Architektur
• Prinzipien
• Code-Organisation
• Starten und Trainieren des Modells
• Evaluieren eines Modells

Grundlegende Einführungen in die folgenden Module (Übersichtsdarstellungen):

Tensorflow - Fortgeschrittene Verwendung

• Threading und Warteschlangen
• Verteiltes TensorFlow
• Dokumentation schreiben und Ihr Modell teilen
• Anpassen von Datenlesern
• Manipulieren von TensorFlow-Modelldateien

TensorFlow Bedienen

• Einführung
• Grundlegendes Serving-Tutorial
• Fortgeschrittenes Serving-Tutorial
• Serving Inception Model Tutorial

Theano für Deep Learning

Theano-Grundlagen

• Einführung
• Installation und Konfiguration

Theano-Funktionen

• Eingänge, Ausgänge, Updates, Givens

Training und Optimierung eines neuronalen Netzes mit Theano

• Modellierung eines neuronalen Netzes
• Logistische Regression
• Versteckte Schichten
• Trainieren eines Netzes
• Berechnen und Klassifizieren
• Optimierung
• Log-Verlust

Wir schulen die jeweils letzte, verfügbare Version der Software in unseren Seminaren.