AI valdo kalbą. Ar turėtume pasitikėti tuo, kas parašyta?

AI valdo kalbą.  Ar turėtume pasitikėti tuo, kas parašyta?

“Manau, kad tai leidžia mums būti labiau apgalvotiems ir labiau apgalvotiems saugos klausimais”, – sako Altmanas. ” Dalis mūsų strategijos yra tokia: laipsniški pokyčiai pasaulyje yra geriau nei staigūs pokyčiai.” Arba, kaip pasakė OpenAI viceprezidentė Mira Murati, kai paklausiau jos apie saugos komandos darbą, ribojantį atvirą prieigą prie programinės įrangos, jei mes išmoksime diegti šias galingas technologijas, pradėkime, kai statymas bus labai mažas.

Nors pats GPT-3 veikia su tais 285 000 CPU branduolių Ajovos superkompiuterių klasteryje, OpenAI veikia San Francisko misijos rajone, atnaujintoje bagažo gamykloje. Praėjusių metų lapkritį ten susitikau su Ilja Sutskeveriu, bandydamas išsiaiškinti, kaip iš tikrųjų veikia GPT-3.

„Čia yra pagrindinė GPT-3 idėja“, – įdėmiai pasakė Sutskeveris, pasilenkęs į priekį kėdėje. Jis turi intriguojančią atsakymų į klausimus būdą: keli klaidingi paleidimai – „Galiu pateikti aprašymą, kuris beveik atitinka tą, kurio prašėte“ – pertraukiamos ilgos, kontempliatyvios pauzės, tarsi jis nubrėžtų visą atsakymą. avansu.

„Pagrindinė GPT-3 idėja yra būdas susieti intuityvią supratimo sąvoką su kažkuo, ką galima išmatuoti ir suprasti mechaniškai“, – galiausiai pasakė jis, „ir tai yra užduotis nuspėti kitą žodį. tekstą.” Kitos dirbtinio intelekto formos bando užkoduoti informaciją apie pasaulį: didmeistrių šachmatų strategijas, klimatologijos principus. Tačiau GPT-3 intelektas, jei intelektas yra tinkamas žodis, kyla iš apačios į viršų: per elementarų kito žodžio numatymo veiksmą. Norint išmokyti GPT-3, modeliui pateikiamas „raginimas“ – keli sakiniai ar teksto pastraipos iš laikraščio straipsnio, tarkime, romano ar mokslinio darbo, ir tada prašoma pasiūlyti galimų žodžių sąrašą, kurį būtų galima užbaigti. seka, surikiuota pagal tikimybę. Ankstyvosiose mokymo stadijose siūlomi žodžiai yra nesąmonė. Paraginkite algoritmą tokiu sakiniu kaip „Rašytojas praleido patį paskutinį pirmojo žodžio žodį. . . ” ir spėlionės bus tarsi nesąmonių srautas: ” palydovas ” ” šuniukas, ” ” Sietlas, ” ” todėl. ” Bet kažkur sąrašo apačioje – galbūt tūkstančiai žodžių žemiau sąrašas – pasirodo teisingas trūkstamas žodis: ” pastraipa.” Tada programinė įranga sustiprina bet kokias atsitiktines neuronines jungtis, sugeneravusias tą konkretų pasiūlymą, ir susilpnina visas jungtis, kurios sugeneravo neteisingus spėjimus. Ir tada pereinama prie kito raginimo. Laikui bėgant, turėdama pakankamai iteracijų, programinė įranga išmoksta.

Praėjusį sausį „OpenAI“ pridėjo funkciją, leidžiančią vartotojams duoti tiesiogines GPT-3 instrukcijas kaip raginimą, o ne tiesiog prašyti išplėsti pavyzdinę teksto ištrauką. Pavyzdžiui, naudodamas „instrukcijos“ režimą, kartą daviau GPT-3 raginimą: „Parašykite esė, kurioje aptariamas metafikcijos vaidmuo Italo Calvino kūryboje. – pastraipa, kuri prasidėjo taip:

Italų autorius Italo Calvino laikomas metafikcijos meistru – rašymo žanru, kuriame autorius sulaužo ketvirtą sieną, kad aptartų patį rašymo veiksmą. Calvino metafiction yra būdas ištirti tikrovės prigimtį ir būdus, kuriais istorijos gali formuoti mūsų pasaulio suvokimą. Jo romanuose dažnai yra žaismingų, labirintinių struktūrų, kurios žaidžia su realybės ir fantastikos ribomis. Pavyzdžiui, „Jei žiemos naktį keliautojas“ skaitytoją nuolat pertraukia metalygmens diskusijos apie skaitymo veiksmą ir pasakojimo prigimtį. . . .

Galite pakartotinai pateikti GPT-3 tą patį raginimą ir kiekvieną kartą, kai jis sugeneruos unikalų atsakymą, kai kurie iš jų bus įtikinamesni nei kiti, tačiau beveik visi jie yra nepaprastai aiškiai išreikšti. Nurodymai gali būti įvairių formų: ” Pateikite man visų Bolonijos padažo ingredientų sąrašą, ” ” Parašyk eilėraštį apie Prancūzijos pakrantės kaimą John Ashbery stiliumi, ” ” Paaiškinkite Didįjį sprogimą kalba, kurią supras 8 metų vaikas. ” Pirmus kelis kartus, kai maitindavau GPT-3 raginimus, pajutau, kaip nugarą perbėga tikras šiurpulys. Atrodė beveik neįmanoma, kad mašina galėtų sukurti tokį aiškų ir jautrų tekstą, remdamasi tik elementariu kito žodžio numatymo mokymu.

Tačiau dirbtinis intelektas turi ilgą istoriją, kuriantis intelekto ar supratimo iliuziją, iš tikrųjų nepristatant prekių. Daug diskusijų sukėlusiame dokumente, paskelbtame praėjusiais metais, Vašingtono universiteto kalbotyros profesorė Emily M. Bender, buvęs „Google“ tyrinėtojas Timnitas Gebru ir grupė bendraautorių pareiškė, kad dideli kalbų modeliai tėra „stochastinės papūgos“: kad yra, programinė įranga naudojo atsitiktinių atranką, kad tik permaišytų žmogaus sukurtus sakinius. „Tai, kas pasikeitė, nėra kažkoks žingsnis per slenkstį link „AI“, – neseniai man pasakė Benderis el. paštu. Pasak jos, pasikeitė „techninė įranga, programinė įranga ir ekonominės naujovės, leidžiančios kaupti ir apdoroti didžiulius duomenų rinkinius“, taip pat technologijų kultūra, kurioje „žmonės, kuriantys ir parduodantys tokius daiktus, gali gauti nekurti jų ant nekuruotų duomenų pagrindų.

Leave a Comment

Your email address will not be published.