Systematische Planung und Durchführung von Experimenten zum maschinellen Lernen

Systematische Planung und Durchführung von Experimenten zum maschinellen Lernen

Experimente mit maschinellem Lernen können lange dauern. In einigen Fällen Stunden, Tage und sogar Wochen.

Dies gibt Ihnen viel Zeit zum Nachdenken und Planen zusätzlicher Experimente.

Darüber hinaus erfordert das durchschnittliche Projekt für angewandtes maschinelles Lernen möglicherweise zehn bis Hunderte von diskreten Experimenten, um ein Datenaufbereitungsmodell und eine Modellkonfiguration zu finden, die eine gute oder hervorragende Leistung liefern.

Aufgrund des langwierigen Charakters der Experimente müssen Sie die Reihenfolge und Art der von Ihnen durchgeführten Experimente sorgfältig planen und verwalten.

Sie müssen systematisch sein.

In diesem Beitrag erfahren Sie, wie Sie Ihre maschinellen Lernexperimente einfach planen und verwalten können.

Mit diesem Ansatz können Sie:

  • Bleiben Sie über die wichtigsten Fragen und Erkenntnisse in Ihrem Projekt auf dem Laufenden.
  • Behalten Sie im Auge, welche Experimente Sie abgeschlossen haben und ausführen möchten.
  • Vergrößern Sie die Datenvorbereitungen, Modelle und Modellkonfigurationen, die die beste Leistung bieten.

Lass uns eintauchen.

Systematische Planung und Durchführung von Experimenten zum maschinellen Lernen

Systematische Planung und Durchführung von Experimenten zum maschinellen Lernen
Foto von Qfamily, einige Rechte vorbehalten.

Verwirrung von Hunderten von Experimenten

Ich mache gerne Experimente über Nacht. Viele Experimente.

Auf diese Weise kann ich beim Aufwachen die Ergebnisse überprüfen, meine Vorstellungen davon aktualisieren, was funktioniert (und was nicht), die nächste Versuchsrunde starten und dann einige Zeit damit verbringen, die Ergebnisse zu analysieren.

Ich hasse es, Zeit zu verschwenden.

Und ich hasse es, Experimente durchzuführen, die mich angesichts der mir zur Verfügung stehenden Zeit und Ressourcen nicht näher an das Ziel bringen, das geschickteste Modell zu finden.

Es ist leicht, den Überblick zu verlieren, wo Sie gerade sind. Besonders nachdem Sie Ergebnisse, Analysen und Ergebnisse aus Hunderten von Experimenten erhalten haben.

Ein schlechtes Management Ihrer Experimente kann zu schlechten Situationen führen, in denen:

  • Sie beobachten Experimente.
  • Sie versuchen, gute Ideen für Experimente zu finden, die direkt nach Abschluss einer aktuellen Charge ausgeführt werden sollen.
  • Sie führen ein Experiment durch, das Sie bereits zuvor durchgeführt haben.

Sie wollen niemals in einer dieser Situationen sein!

Wenn Sie ganz oben auf Ihrem Spiel stehen, dann:

  • Sie wissen auf einen Blick genau, welche Experimente Sie durchgeführt haben und welche Ergebnisse erzielt wurden.
  • Sie müssen eine lange Liste von Experimenten durchführen, geordnet nach der erwarteten Auszahlung.
  • Sie haben die Zeit, sich mit der Analyse der Ergebnisse zu befassen und sich neue und wilde Ideen auszudenken, um sie auszuprobieren.

Aber wie können wir über Hunderte von Experimenten auf dem Laufenden bleiben?

Entwerfen und Ausführen von Experimenten systematisch

Eine Möglichkeit, die mir dabei hilft, systematisch mit Experimenten an einem Projekt umzugehen, ist die Verwendung einer Tabelle.

Verwalten Sie die Experimente, die Sie durchgeführt haben, die ausgeführt werden und die Sie in einer Tabelle ausführen möchten.

Es ist einfach und effektiv.

Einfach

Es ist einfach, dass ich oder jeder von überall darauf zugreifen und sehen kann, wo wir uns befinden.

Ich verwende Google Text & Tabellen, um die Tabelle zu hosten.

Es gibt keinen Code. Kein Notizbuch. Keine ausgefallene Web-App.

Nur eine Tabelle.

Wirksam

Dies ist effektiv, da es nur die Informationen enthält, die mit einer Zeile pro Experiment und einer Spalte für jede Information benötigt werden, um das Experiment zu verfolgen.

Experimente, die durchgeführt werden, können von denen, die geplant sind, getrennt werden.

Nur geplante Experimente werden eingerichtet und ausgeführt, und ihre Reihenfolge stellt sicher, dass die wichtigsten Experimente zuerst ausgeführt werden.

Sie werden überrascht sein, wie viel ein so einfacher Ansatz Ihre Zeit freisetzen und Sie dazu bringen kann, tief über Ihr Projekt nachzudenken.

Beispiel für eine Tabelle

Schauen wir uns ein Beispiel an.

Wir können uns eine Tabelle mit den folgenden Spalten vorstellen.

Dies ist nur ein Beispiel aus dem letzten Projekt, an dem ich gearbeitet habe. Ich empfehle, diese an Ihre eigenen Bedürfnisse anzupassen.

  • Unterprojekt: Ein Teilprojekt kann eine Gruppe von Ideen sein, die Sie untersuchen, eine Technik, eine Datenaufbereitung usw.
  • Kontext: Der Kontext kann das spezifische Ziel sein, z. B. das Schlagen einer Grundlinie, das Einstellen, eine Diagnose usw.
  • Einrichten: Der Aufbau ist die feste Konfiguration des Experiments.
  • Name: Der Name ist die eindeutige Kennung, möglicherweise der Dateiname des Skripts.
  • Parameter: Der Parameter ist das, was im Experiment variiert oder betrachtet wird.
  • Werte: Der Wert ist der Wert oder die Werte des Parameters, die im Experiment untersucht werden.
  • Status: Der Status ist der Status des Experiments, z. B. geplant, ausgeführt oder durchgeführt.
  • Fertigkeit: Die Fähigkeit ist die North Star-Metrik, die für das Projekt wirklich wichtig ist, wie Genauigkeit oder Fehler.
  • Frage: Die Frage ist die motivierende Frage, mit der sich das Experiment befassen möchte.
  • Finden: Das Ergebnis ist die einzeilige Zusammenfassung des Ergebnisses des Experiments, die Antwort auf die Frage.

Um dies zu konkretisieren, finden Sie unten einen Screenshot einer Google Doc-Tabelle mit diesen Spaltenüberschriften und einem erfundenen Beispiel.

Systematische experimentelle Aufzeichnung

Systematische experimentelle Aufzeichnung

Ich kann nicht sagen, wie viel Zeit mir dieser Ansatz gespart hat. Und die Anzahl der Annahmen, dass es sich als falsch erwiesen hat, um Spitzenergebnisse zu erzielen.

Tatsächlich habe ich festgestellt, dass Deep-Learning-Methoden Annahmen und Standardeinstellungen oft recht feindlich gegenüberstehen. Denken Sie daran, wenn Sie Experimente entwerfen!

Holen Sie das Beste aus Ihren Experimenten heraus

Im Folgenden finden Sie einige Tipps, mit denen Sie diesen einfachen Ansatz für Ihr Projekt optimal nutzen können.

  • Brainstorming: Nehmen Sie sich Zeit, um die Ergebnisse regelmäßig zu überprüfen und neue Fragen und Experimente aufzulisten, um sie zu beantworten.
  • Herausforderung: Hinterfragen Sie Annahmen und stellen Sie frühere Ergebnisse in Frage. Spielen Sie den Wissenschaftler und entwerfen Sie Experimente, die Ihre Erkenntnisse oder Erwartungen verfälschen würden.
  • Unterprojekte: Erwägen Sie die Verwendung von Teilprojekten, um Ihre Untersuchung so zu strukturieren, dass Sie Leads folgen oder bestimmte Methoden untersuchen.
  • Experimentelle Reihenfolge: Verwenden Sie die Zeilenreihenfolge als Priorität, um sicherzustellen, dass die wichtigsten Experimente zuerst ausgeführt werden.
  • Tiefere Analyse: Speichern Sie eine tiefere Analyse der Ergebnisse und aggregierten Ergebnisse in einem anderen Dokument. Die Tabelle ist nicht der richtige Ort.
  • Versuchstypen: Haben Sie keine Angst, verschiedene Experimenttypen wie Rastersuche, Stichproben und Modelldiagnose einzumischen.

Sie werden wissen, dass dieser Ansatz gut funktioniert, wenn:

  • Sie durchsuchen API-Dokumentationen und -Papiere nach weiteren Ideen für Versuche.
  • Sie haben weit mehr Experimente in der Warteschlange als Ressourcen, um sie auszuführen.
  • Sie denken ernsthaft darüber nach, eine Tonne mehr EC2-Instanzen einzustellen.

Zusammenfassung

In diesem Beitrag haben Sie herausgefunden, wie Sie Hunderte von Experimenten effektiv verwalten können, die ausgeführt wurden, ausgeführt werden und die Sie in einer Tabelle ausführen möchten.

Sie haben festgestellt, dass eine einfache Tabelle Ihnen helfen kann:

  • Behalten Sie im Auge, welche Experimente Sie durchgeführt und was Sie entdeckt haben.
  • Behalten Sie im Auge, welche Experimente Sie durchführen möchten und welche Fragen sie beantworten werden.
  • Vergrößern Sie die effektivste Datenvorbereitung, das effektivste Modell und die effektivste Modellkonfiguration für Ihr prädiktives Modellierungsproblem.

Haben Sie Fragen zu diesem Ansatz? Hast du selbst etwas Ähnliches gemacht?
Lass es mich in den Kommentaren unten wissen.

Das könnte Sie auch interessieren