Kuinka suunnitella ja suorittaa koneoppimiskokeiluja järjestelmällisesti

Kuinka suunnitella ja suorittaa koneoppimiskokeiluja järjestelmällisesti

Koneoppimiskokeet voivat viedä kauan. Tunnit, päivät ja jopa viikot joissakin tapauksissa.

Tämä antaa sinulle paljon aikaa ajatella ja suunnitella uusia kokeita suoritettavaksi.

Lisäksi keskimääräinen sovellettu koneoppimisprojekti voi vaatia kymmeniä - satoja erillisiä kokeita sellaisen tiedon valmistelumallin ja mallin kokoonpanon löytämiseksi, joka antaa hyvän tai erinomaisen suorituskyvyn.

Kokeiden hitaus tarkoittaa sitä, että sinun on suunniteltava ja hallinnoit suoritettavien kokeiden järjestystä ja tyyppiä huolellisesti.

Sinun on oltava järjestelmällinen.

Tässä viestissä löydät yksinkertaisen lähestymistavan koneoppimiskokeiden suunnitteluun ja hallintaan.

Tämän lähestymistavan avulla voit:

  • Pysy ajan tasalla projektisi tärkeimmistä kysymyksistä ja havainnoista.
  • Seuraa mitä kokeiluja olet suorittanut ja haluat suorittaa.
  • Lähennä datavalmisteluja, malleja ja mallikokoonpanoja, jotka antavat parhaan suorituskyvyn.

Sukelletaan sisään.

Kuinka suunnitella ja suorittaa koneoppimiskokeiluja järjestelmällisesti

Kuinka suunnitella ja suorittaa koneoppimiskokeiluja järjestelmällisesti
Kuva: Qfamily, joitain oikeuksia pidätetään.

Satojen kokeiden sekoitus

Haluan tehdä kokeiluja yön yli. Paljon kokeita.

Tämä on niin, että kun herään, voin tarkistaa tulokset, päivittää ajatukseni siitä, mikä toimii (ja mikä ei), ja aloittaa seuraavan kokeilujakson, sitten viettää aikaa analysoida tuloksia.

Vihaan ajanhukkaa.

Ja vihaan sellaisten kokeiden suorittamista, jotka eivät vie minua lähemmäksi tavoitetta löytää taitavin malli, kun otetaan huomioon käytettävissä oleva aika ja resurssit.

On helppo kadottaa tajuasi missä olet. Varsinkin kun sinulla on tuloksia, analyyseja ja havaintoja satoista kokeista.

Kokeiden huono hallinta voi johtaa huonoihin tilanteisiin, joissa:

  • Katselet kokeiluja.
  • Yrität saada aikaan hyviä ideoita kokeiluista, jotka suoritetaan heti, kun nykyinen erä on valmis.
  • Suoritat jo aiemmin suorittamasi kokeen.

Et koskaan halua olla missään näistä tilanteista!

Jos olet pelisi kärjessä, toimi seuraavasti:

  • Tiedät tarkalleen, mitä kokeita olet suorittanut yhdellä silmäyksellä ja mitkä havainnot olivat.
  • Sinulla on pitkä luettelo suoritettavista kokeista, jotka on järjestetty niiden odotetun tuloksen mukaan.
  • Sinulla on aikaa sukeltaa tulosten analyysiin ja miettiä uusia ja villejä ideoita kokeilla.

Mutta miten voimme pysyä satojen kokeiden päällä?

Suunnittele ja suorita kokeita järjestelmällisesti

Yksi tapa, jonka olen huomannut auttavan minua systemaattisessa kokeilussa projektissa, on käyttää laskentataulukkoa.

Hallitse tekemiäsi kokeita, jotka ovat käynnissä ja jotka haluat suorittaa laskentataulukossa.

Se on yksinkertainen ja tehokas.

Yksinkertainen

Se on yksinkertaista, koska minä tai kuka tahansa pääsen siihen mistä tahansa ja näet missä olemme.

Käytän Google Docsia laskentataulukon ylläpitämiseen.

Koodia ei ole. Ei muistikirjaa. Ei hienoa verkkosovellusta.

Vain laskentataulukko.

Tehokas

Se on tehokas, koska se sisältää tarvittavat tiedot vain yhdellä rivillä koketta kohti ja yhden sarakkeen kutakin tietoa kohti, jota seurataan kokeessa.

Tehdyt kokeet voidaan erottaa suunnitelluista.

Vain suunnitellut kokeet on määritetty ja suoritettu ja niiden järjestys varmistaa, että tärkeimmät kokeet suoritetaan ensin.

Tulet yllättymään siitä, kuinka paljon tällainen yksinkertainen lähestymistapa voi vapauttaa aikaa ja saada sinut ajattelemaan syvällisesti projektiasi.

Esimerkki laskentataulukosta

Katsotaanpa esimerkkiä.

Voimme kuvitella laskentataulukon, jossa on alla olevat sarakkeet.

Nämä ovat vain esimerkki viimeisestä projektista, jonka kanssa työskentelin. Suosittelen näiden mukauttamista omiin tarpeisiisi.

  • Alihanke: Alaprojekti voi olla tutkittavien ideoiden ryhmä, tekniikka, tietojen valmistelu ja niin edelleen.
  • Asiayhteys: Konteksti voi olla erityinen tavoite, kuten perusviivan voittaminen, viritys, diagnoosi ja niin edelleen.
  • Perustaa: Asetus on kokeen kiinteä kokoonpano.
  • Nimi: Nimi on yksilöllinen tunniste, ehkä komentosarjan tiedostonimi.
  • Parametri: Parametri on asia, jota muutetaan tai jota tarkastellaan kokeessa.
  • Arvot: Arvo on kokeessa tutkittavan parametrin arvo tai arvot.
  • Tila: Tila on kokeen tila, kuten suunniteltu, suoritettu tai tehty.
  • Taito: Taito on North Star -metriikka, jolla on todella merkitystä projektissa, kuten tarkkuus tai virhe.
  • Kysymys: Kysymys on motivoiva kysymys, johon kokeilu pyrkii vastaamaan.
  • Löytäminen: Löydös on yhden rivin yhteenveto kokeen tuloksesta, vastaus kysymykseen.

Tämän konkreettisuuden lisäämiseksi alla on kuvakaappaus Google Doc -taulukosta, jossa on nämä sarakeotsikot ja keksitty esimerkki.

Systemaattinen kokeellinen tietue

Systemaattinen kokeellinen tietue

En voi sanoa, kuinka paljon aikaa tämä lähestymistapa on säästänyt minua. Ja niiden oletusten määrä, jotka osoittautuivat vääriksi pyrittäessä saamaan huipputuloksia.

Itse olen huomannut, että syvälliset oppimismenetelmät ovat usein melko vihamielisiä oletuksia ja oletuksia kohtaan. Pidä tämä mielessä kokeita suunniteltaessa!

Ota kaikki irti kokeistasi

Alla on joitain vinkkejä, joiden avulla saat kaiken irti tästä yksinkertaisesta lähestymistavasta projektissasi.

  • Aivoriihi: Tee aika tarkastella havaintoja usein ja luetella uusia kysymyksiä ja kokeita vastaamiseksi niihin.
  • Haaste: Haastaoletukset ja haasta aikaisemmat havainnot. Pelaa tutkijaa ja suunnittele kokeita, jotka väärentävät havaintosi tai odotuksesi.
  • Alihankkeet: Harkitse aliprojektien käyttöä tutkimuksen jäsentämisessä, jossa seuraat johtoja tai tutkit tiettyjä menetelmiä.
  • Kokeellinen tilaus: Käytä rivijärjestystä prioriteettina varmistaaksesi, että tärkeimmät kokeet suoritetaan ensin.
  • Syvempi analyysi: Tallenna tulosten ja yhdistettyjen havaintojen syvempi analyysi toiseen dokumenttiin; taulukkolaskenta ei ole paikka.
  • Kokeilutyypit: Älä pelkää sekoittaa erilaisia ​​kokeilutyyppejä, kuten ruudukkohaku, pistetarkistukset ja mallidiagnostiikka.

Tiedät, että tämä lähestymistapa toimii hyvin, kun:

  • Etsit API-dokumentaatiota ja papereita saadaksesi lisää ideoita kokeiltavista asioista.
  • Sinulla on paljon enemmän kokeita jonossa kuin resursseja niiden suorittamiseksi.
  • Ajattelet tosissasi palkata tonnia lisää EC2-instansseja.

Yhteenveto

Tässä viestissä huomasit, kuinka voit hallita satoja kokeiluja, jotka ovat käynnissä, ovat käynnissä ja jotka haluat suorittaa laskentataulukossa.

Huomasit, että yksinkertainen laskentataulukko voi auttaa sinua:

  • Seuraa mitä kokeita olet suorittanut ja mitä löysit.
  • Seuraa mitä kokeiluja haluat suorittaa ja mihin kysymyksiin ne vastaavat.
  • Lähennä tehokkainta tietojen valmistelua, mallia ja mallin kokoonpanoa ennakoivaa mallinnusongelmaa varten.

Onko sinulla kysyttävää tästä lähestymistavasta? Oletko tehnyt jotain vastaavaa itse?
Kerro minulle alla olevissa kommenteissa.

Saatat myös olla kiinnostunut