Atviros mintys: atvirojo kodo iniciatyva, skatinanti AI samprotavimus su aukštos kokybės duomenų rinkiniais ir tokiais modeliais kaip „Openthoughts-114K“ ir „Openthinker-7B“

Kritinis ribotos prieigos prie aukštos kokybės samprotavimo duomenų rinkinių klausimas turi ribotą atvirojo kodo AI orientuotą loginį ir matematinį samprotavimų pažangą. Nors patentuotuose modeliuose buvo panaudotos struktūrizuotos samprotavimo demonstracijos, skirtos pagerinti veikimą, šie duomenų rinkiniai ir metodikos lieka uždarytos, ribojančios nepriklausomus tyrimus ir inovacijas. Atvirų, keičiamų samprotavimų duomenų rinkinių nebuvimas sukūrė kliūtį AI plėtrai.

Pastaraisiais metais tokie modeliai kaip „Skyt1“, „Still-2“ ir „Deepseeek-R1“ parodė, kad palyginti nedidelis aukštos kokybės samprotavimų demonstracijų rinkinys šimtams tūkstančių gali iš esmės sustiprinti modelio sugebėjimą atlikti sudėtingas logiškas ir matematinis pagrindimo užduotis. Vis dėlto dauguma samprotavimų duomenų rinkinių ir jų kūrimo metodikos išlieka patentuotos, ribojančios prieigą prie esminių išteklių, reikalingų tolesniam šios srities tyrinėjimui.

Iniciatyva „Atviros mintys“, kuriai vadovauja „Bespoke Labs“ ir „Datacomp“ bendruomenė iš Stanfordo, UC Berkeley, UT Austin, UW, UCLA, UNC, TRI ir LAION, yra ambicingas atvirojo kodo projektas, kurio tikslas-kurti ir kurti aukštos kokybės pagrindimo duomenų rinkinius. Norėdami išspręsti aukščiau pateiktus susirūpinimą, atsižvelgiant į duomenų rinkinių prieinamumą. Šiuo projektu siekiama nustatyti geriausius atvirų samprotavimo duomenų rinkinius, kad būtų patobulintos kalbos modelių kognityvinės galimybės. Komanda siekia pateikti viešai prieinamus, moderniausius samprotavimo duomenų rinkinius ir duomenų generavimo strategijas. Šiomis pastangomis jie išleido „Opentholts-114K“ samprotavimo duomenų rinkinį ir susijusį „Openthinker-7B“ modelį. Pažvelkime į abiejų detalių po vieną.

„Openthts-114K“ duomenų rinkinys: naujas standartas, susijęs su atvirų samprotavimų duomenimis

Šis duomenų rinkinys buvo sukurtas siekiant suteikti didelio masto aukštos kokybės samprotavimų demonstracijų korpusą, siekiant pagerinti kalbos modelių samprotavimo gebėjimus. „Opentholts-114K“ yra ankstesnių duomenų rinkinių, tokių kaip „Bespoke-Stratos-17K“, pratęsimas, kuriame buvo tik 17 000 pavyzdžių. Padidinus iki 114 000 samprotavimų pavyzdžių, šis duomenų rinkinys pagerino įvairių samprotavimų etalonus. „Opentholts-114K“ buvo sugeneruota naudojant „Deepseeek-R1“ įkvėptus samprotavimo metodus, kurie parodė, kad sintetinių samprotavimų demonstracijos gali būti parengtos efektyviai ir mastu. Šis duomenų rinkinys apima įvairius samprotavimo iššūkius, pradedant nuo matematinio problemų sprendimo iki loginės dedukcijos, taip pat tai, kad jis yra vertingas šaltinis siekiant pagerinti modelio tvirtumą įvairiose samprotavimo srityse.

„Openthinker-7b“: pažangių samprotavimų modelis

Kartu su „Opentholts-114K“ išleidimu, „Open Minties“ komanda taip pat pristatė „Openthinker-7B“-tiksliai sureguliuotą „QWEN-2.5-7B“ versiją. Šis modelis buvo mokomas konkrečiai „Opentholts-114K“ ir iš esmės pagerėjo dėl jo pirmtakų. Per 20 valandų jis buvo išmokytas naudojant keturis 8xh100 mazgus. Jis buvo išmokytas naudojant „Transformeriai 4.46.1“ biblioteką ir „Pytorch 2.3.0“, kad būtų užtikrintas suderinamumas su plačiai naudojamais ML rėmais.

Kai kuriomis samprotavimo užduotimis, „Openthinker-7B“ pralenkia panašius modelius, tokius kaip „Bespoke-Stratos-7B“, „Deepseek-R1-Distill-QWEN-7B“ ir net GPT-4O. Encharche, naudojant „Everchemy“, parodė įspūdingus duomenų rinkinius, tokius kaip AIME24: 43,3%, Math500: 83,0%, GPQA-D: 42,4%, LCB Easy: 75,3%ir LCB terpė: 28,6%. Šie rezultatai rodo, kad „Openthinker-7B“ yra didžiulė atvirojo kodo alternatyva patentuotų samprotavimų modeliams.

Visiškai atvirojo kodo: svoriai, duomenys ir kodas

Remiantis „Open Mous“ projekto bruožu, jis yra įsipareigojimas visapusiškai skaidrumui. Skirtingai nuo patentuotų modelių, tokių kaip „GPT-4O“ ir „O1-Mini“, kurie saugo jų duomenų rinkinius ir mokymo metodikas uždarytas, „Openthinker-7B“ ir „Openthoughts-114K“ yra visiškai atviro kodo. Tai reiškia:

1. Atviros modelio svoriai: „Openthinker-7B“ modelio svoriai yra viešai prieinami, leidžiantys tyrėjams ir kūrėjams tiksliai sureguliuoti ir remtis modeliu.
2. Atidaryti duomenys: „Openthoughts-114K“ duomenų rinkinys yra laisvai prieinamas visiems, kuriuos galima naudoti, modifikuoti ir plėsti.
3. Atviras kodas: „Openthinker-7B“ duomenų generavimo, įvertinimo ir mokymo kodas yra priglobtas „GitHub“, užtikrinant visišką skaidrumą ir atkuriamumą.

Projektas „Open Mous“ yra tik ankstyvame etape, planuojant toliau plėstis. Kai kurios galimos ateities kryptys apima:

• Ateityje „Openthts“ pakartojimai galėtų apimti milijonus samprotavimo pavyzdžių, apimančių platesnį kognityvinių iššūkių spektrą.
• „Openthinker-7B“ yra puikus atspirties taškas, tačiau didesni modeliai, suderinti dar daugiau duomenų, galėtų dar labiau nustumti samprotavimo galimybių ribas.
• Skatinti daugiau tyrėjų, inžinierių ir AI entuziastų prisidėti prie duomenų rinkinių kūrimo, modelio mokymo ir vertinimo metodikų.

Apibendrinant, atviros mintys yra transformacinės pastangos demokratizuoti AI samprotavimus. Paleidus „Opentholts-114K“ ir „Openthinker-7B“ kaip atvirojo kodo išteklius, projektas įgalina AI bendruomenę aukštos kokybės duomenimis ir modeliais, siekiant patobulinti samprotavimo tyrimus. Tęsdamas bendradarbiavimą ir plėtrą, atviros mintys gali iš naujo apibrėžti, kaip AI artėja prie loginių, matematinių ir pažintinių samprotavimų užduočių.

Šaltiniai

Be to, nepamirškite sekti mūsų „Twitter“ ir prisijunkite prie mūsų „Telegram“ kanalas ir „LinkedIn GrOUP. Nepamirškite prisijungti prie mūsų 70K+ ml subreddit.

🚨 Susipažinkite su „Intellagent“: atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą ^{(Paaukštintas)}