„In zehn Jahren wird ein Computer Schachweltmeister.“ Diese Prognose machte 1957 der Wirtschaftsnobelpreisträger Herbert Simon. In den Anfangszeiten der Künstlichen Intelligenz waren die Erwartungen hoch. Computer, so der Glaube, würden menschlichen Gehirnen schon bald überlegen sein.
Nach der Euphorie kam die Ernüchterung. Erst 1997 schlug ein Computer den damals amtierenden Schachweltmeister Garri Kasparov und bis heute ist der Mensch dem Rechner weit überlegen, wenn es nicht gerade um Schach, sondern etwa um die Lösung von komplexen Aufgaben in unkontrollierten Umgebungen ohne feste Regeln geht. Einen ähnlichen Hype gab es in den 1980er-Jahren um Neuronale Netze, die in begrenztem Umfang lernfähig sind wie das Gehirn. Auch da machte sich später Ernüchterung breit.
Riesige Computer-Experimente
Doch seit einigen Jahren herrscht wieder Aufbruchstimmung in beiden Disziplinen. Das Zauberwort heißt Deep Learning. So bezeichnet man riesige Computer-Experimente, bei denen man Unmengen von Daten in den Computer schüttet. Mit diesen Daten wird ein Neuronales Netz trainiert, aber mit viel mehr „Neuronen“ als bei früheren Versuchen. Das Neuronale Netz lernt selbstständig aus den Daten und kann durch diese „Erfahrung“ Probleme lösen. Große Bekanntheit erlangt hat AlphaGo: ein Programm von Google für den chinesischen Brettspielklassiker Go, das inzwischen alle menschlichen Champions vom Brett gefegt hat.
Deep Learning löst auch Aufgaben aus der Praxis
Jetzt schickt sich Deep Learning an, Aufgaben zu lösen, die auch für Unternehmen interessant sind – auch dank der Arbeit am Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM mit Sitz in Kaiserslautern und immer schnellerer Computer. Doch es gibt ein Problem: Trotz flotterer Rechner dauert das Training eines Neuronalen Netzes immer noch sehr lange, vor vier Jahren typischerweise eine Woche. Und heute? „Auch eine Woche“, gibt Janis Keuper zu. „Denn die Probleme sind viel komplexer geworden. Sonst würde es nur eine Stunde dauern.“
Um den wachsenden Anforderungen nicht immer hinterherzuhecheln, will der ITWM-Informatiker das Deep Learning deutlich beschleunigen. Dazu lässt er das Neuronale Netz auf großen Rechnerverbünden mit vielen Knoten parallel rechnen – jeder Knoten bestückt mit einem oder mehreren Mikroprozessoren.
Und dort wartet schon die nächste Schwierigkeit. Teilt man nämlich die Rechenarbeit in viele kleine Häppchen, leidet das Ergebnis. Für Mathematiker: Die Knoten führen Matrixmultiplikationen aus. Nicht-quadratische Matrizen degenerieren allerdings, wie der Fachmann sagt, wenn man sie in Teilrechnungen zerlegt. Oder aber der Kommunikationsaufwand zwischen den Knoten explodiert. Heutige Supercomputer haben Tausende Knoten, doch beim Deep Learning bringt schon eine Handvoll von ihnen keinen Geschwindigkeitszuwachs mehr. Schon bei einem Dutzend Knoten sinkt das Rechentempo sogar.
Vertrackte Operationen
Bis jetzt. Denn das ITWM-Team hat Auswege aus dem Dilemma gefunden. So arbeiten die Mathematiker an neuen numerischen Methoden zur Aufteilung der Matrixoperationen. Außerdem verschlanken und beschleunigen sie die Kommunikation zwischen den Knoten, damit die Daten rechtzeitig dort sind, wo sie für die nächste Rechenoperation gebraucht werden. Die Abteilung ist an einigen Projekten beteiligt, die sich damit beschäftigen, unter anderem an dem EU-Projekt „Epigram“ zur Entwicklung von sogenannten Exascale-Rechnern.
Das Bundesministerium für Bildung und Forschung gab Geld für ein Rechencluster mit 16 Einzelrechnern zum Bau eines Prototyps. Darauf laufen Neuronale Netze mit 15,93-facher Geschwindigkeit, also ganz nahe am maximal möglichen Rechentempo. Schon bald werde man Rechner mit 1000 Knoten nutzen, sagt Janis Keuper: „Damit wollen wir mindestens die 900-fache Geschwindigkeit schaffen.“ Das stößt die Tür für das Deep Learning weit auf. Dienstleister könnten dann Neuronale Netze in der Cloud anbieten, jedes Unternehmen und irgendwann auch jeder private Nutzer könnte dann sein künstliches Gehirn mieten.
Virtuelles Testlabor
Deep Learning als Methode des Maschinellen Lernens hat auch bereits Einzug in der Industrie gehalten. Michael Bortz aus der Abteilung Optimierung nutzt es, um Prozesse in Chemiefabriken zu verbessern. Die sind heute gespickt mit Sensoren, die Temperatur, Druck, Strömung und vieles mehr messen. Die Preisfrage ist, welche Parameter man ändern muss, damit das Endprodukt reiner, billiger oder in höherer Ausbeute aus der Anlage kommt. Weil man dabei viele Kriterien gegeneinander abwägen muss, sprechen Mathematiker von einem „mehrkriteriellen Problem“. Als mathematische Methode nutzt Bortz die Pareto-Verteilung, die auch der erfolgreichen Software zur Radiotherapieplanung des Instituts zugrunde liegt.
Verblüffende Ergebnisse
Michael Bortz hat eine Software entwickelt, in der die Verfahrenstechniker mit der Maus an Schiebereglern ziehen können, um so den Prozess in der Anlage zu ändern. „Jede Einstellung ist wie ein Experiment, das man noch nie gemacht hat“, erklärt der ITWM-Wissenschaftler. Was geht und was geht nicht? Die Software sagt es per Knopfdruck auf Basis der Erfahrungen, die sich Machine-Learning-Algorithmen mit echten Daten aus der Anlage angeeignet haben.
Die erzielten Ergebnisse sind verblüffend. Durch eine Änderung von Prozessparametern lässt sich die Ausbeute der Chemikalie – im Beispiel ein Grundstoff für die kosmetische Industrie – um 10 % steigern, ohne dass die Reinheit darunter leidet. Diese Resultate habe man den Experten eines Chemiekonzerns gezeigt und die hätten es erst geglaubt, nachdem sie es ausprobiert hatten, berichtet Bortz: „Unsere Kunden dürfen sich was wünschen und es geht in Erfüllung – das ist fast wie Weihnachten.“
