Verteilte Optimierung und statistisches Lernen mit der Methode der alternierenden Richtung von Multiplikatoren

Originaltitel:

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Inhalt des Buches:

Viele aktuelle Probleme der Statistik und des maschinellen Lernens können im Rahmen der konvexen Optimierung gelöst werden. Aufgrund der explosionsartigen Zunahme der Größe und Komplexität moderner Datensätze wird es immer wichtiger, Probleme mit einer sehr großen Anzahl von Merkmalen oder Trainingsbeispielen lösen zu können.

Daher sind sowohl die dezentrale Sammlung oder Speicherung dieser Datenmengen als auch begleitende verteilte Lösungsverfahren entweder notwendig oder zumindest sehr wünschenswert. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers argumentiert, dass die Alternating Direction Method of Multipliers gut geeignet ist für verteilte konvexe Optimierung und insbesondere für große Probleme, die in der Statistik, im maschinellen Lernen und in verwandten Bereichen auftreten. Die Methode wurde in den 1970er Jahren entwickelt, mit Wurzeln in den 1950er Jahren, und ist äquivalent oder eng verwandt mit vielen anderen Algorithmen, wie z.B.

der dualen Zerlegung, der Methode der Multiplikatoren, dem Douglas-Rachford-Splitting, der Methode der partiellen Inversen von Spingarn, den alternierenden Projektionen von Dykstra, den iterativen Algorithmen von Bregman für ℓ. 1-Probleme, Proximalmethoden und andere.

Nach einem kurzen Überblick über die Theorie und die Geschichte des Algorithmus werden Anwendungen auf eine Vielzahl von statistischen und maschinellen Lernproblemen von aktuellem Interesse erörtert, darunter das Lasso, die spärliche logistische Regression, das Basis-Pursuit, die Kovarianzauswahl, Support-Vektor-Maschinen und viele andere. Außerdem werden die allgemeine verteilte Optimierung, Erweiterungen auf nichtkonvexe Bedingungen und eine effiziente Implementierung behandelt, einschließlich einiger Details zu verteilten MPI- und Hadoop MapReduce-Implementierungen.

Weitere Daten des Buches:

• ISBN: 9781601984609
• Autor: Stephen Boyd
• Verlag: New Publ Inc
• Sprache: Englisch
• Einband: Taschenbuch