
Information Bottleneck: Theory and Applications in Deep Learning
Das berühmte Prinzip des Informationsengpasses (Information Bottleneck, IB) von Tishby et al. hat in letzter Zeit aufgrund seiner Anwendung im Bereich des Deep Learning neue Aufmerksamkeit erfahren.
Diese Sammlung untersucht das IB-Prinzip in diesem neuen Kontext. Die einzelnen Kapitel in dieser Sammlung: - bieten neue Einblicke in die funktionalen Eigenschaften des IB; - diskutieren das IB-Prinzip (und seine Ableitungen) als Ziel für das Training von mehrschichtigen maschinellen Lernstrukturen wie neuronalen Netzen und Entscheidungsbäumen; und - bieten eine neue Perspektive auf das Lernen neuronaler Netze durch die Linse des IB-Rahmens.
Unsere Sammlung trägt somit zu einem besseren Verständnis des IB-Prinzips speziell für Deep Learning und allgemeiner für informationstheoretische Kostenfunktionen beim maschinellen Lernen bei. Dies ebnet den Weg zu einer erklärbaren künstlichen Intelligenz.