Kas ir LLM?

Vispirms par neskaidrību, jo šos trīs burtus meklētājā ievada divas ļoti atšķirīgas cilvēku grupas. Jurisprudencē LLM nozīmē maģistra grādu tiesību zinātnēs (Legum Magister, no latīņu valodas), un tas ir pēcstudiju grāds. Ja tieši šo LLM meklējāt, universitātes uzņemšanas lapa noderēs daudz labāk nekā šis raksts. Viss turpmākais attiecas uz otro nozīmi.

Otra nozīme ir lielais valodas modelis. Tā ir programmatūra, kurai tika parādīts milzīgs teksta apjoms, un tā iemācījās to turpināt. Iedodiet tai kādus vārdus, un tā izdomā, kurš mazais teksta gabaliņš visdrīzāk seko tālāk, pievieno to, izlasa visu no jauna un izvēlas nākamo gabaliņu. Viss, ko esat redzējis šīs sistēmas darām, atbildot uz jautājumiem, tulkojot, veidojot līguma kopsavilkumu vai rakstot programmas funkciju, izriet no šīs vienas atkārtotās darbības.

Vārds "lielais" veic divus uzdevumus. Pirmkārt, tas attiecas uz teksta apjomu, uz kura modelis apmācīts, kas pašreizējai paaudzei nozīmē ievērojamu daļu no publiskā interneta rakstītā satura, kā arī grāmatas, kodu un licencētus materiālus. Otrkārt, tas attiecas uz paša modeļa lielumu, ko mēra parametros, iekšējos skaitliskos iestatījumos, kas tiek pielāgoti apmācības laikā. Agrīnajiem valodas modeļiem bija miljoni parametru. Modeļiem, kas lika cilvēkiem uzmanīgi ieklausīties, ir miljardi parametru, un lielākajiem šis skaitlis ir vēl krietni lielāks. Lielākā daļa uzņēmumu vairs nepublicē precīzus skaitļus saviem galvenajiem modeļiem, tāpēc pret jebkuru precīzu skaitli, ko izlasāt par pašreizējo komerciālo modeli, izturieties piesardzīgi, ja vien to nav apstiprinājis pats ražotājs.

Par parametriem der teikt vēl kaut ko, jo šis skaitlis bieži tiek minēts kā jaudas rādītājs. Parametrs ir viens pielāgojams skaitlis modeļa iekšienē. Apmācība katru no tiem nedaudz pielāgo, miljardiem reižu, līdz modeļa minējumi par tekstu kļūst precīzi. Tur nav saglabāts neviens fakts, tikai iestatījumi. Tas ir vissvarīgākais, kas jāsaprot par šīm sistēmām, un tas izskaidro lielāko daļu to dīvainās uzvedības.

Ja plašākie jēdzieni joprojām šķiet neskaidri, pamati ir skaidroti rakstā par to, kas ir MI, kur aprakstīts, kāpēc mūsdienu sistēmas mācās no piemēriem, nevis seko programmētāja uzrakstītiem noteikumiem. LLM ir viena konkrēta lieta, kas veidota tieši šādā veidā. Tas nav visa mākslīgā intelekta joma, un daudzi noderīgi mašīnmācīšanās pielietojumi ar valodu nemaz nav saistīti.

Modelis nelasa burtus, un tas nelasa arī īsti vārdus. Tas lasa marķierus (tokens), teksta gabaliņus, kas izveidoti, sadalot ievadi pēc fiksēta vārdu krājuma, kas noteikts pirms apmācības. Latviešu un angļu valodā viens marķieris vidēji atbilst apmēram četrām rakstzīmēm, tāpēc bieži lietots īss vārds ir viens marķieris, bet garāks vai neparasts vārds tiek sadalīts vairākos gabaliņos. Atstarpes un pieturzīmes arī tiek ieskaitītas. Aptuvens likums: simts vārdu teksts sastāv no apmēram simts trīsdesmit marķieriem.

Tas nav sīkums. Tas ir tiešs cēlonis veselai kļūdu saimei, kas cilvēkus mulsina. Pajautājiet modelim, cik reižu vārdā parādās burts "r", un tas var kļūdīties, vienlaikus uzrakstot nevainojamu rindkopu ap šo kļūdu, jo tas nekad nav redzējis burtus atsevišķi. Palūdziet apgriezt vārdu otrādi, un tam būs grūtības tā paša iemesla dēļ. Reti uzvārdi, ķīmisko vielu nosaukumi un gari identifikatori tiek sadalīti vairākos gabaliņos, un katrs gabaliņš nes mazāk lietderīgas informācijas nekā vesels, pazīstams vārds, kas daļēji izskaidro, kāpēc modeļi ir nedrošāki ar neparastiem nosaukumiem nekā ar ierastiem.

Tagad par pašu prognozēšanu. Kad modelis nonāk pie brīža, kad jāizvēlas nākamais marķieris, tas neizveido vienu atbildi. Tas izveido vērtējumu katram marķierim savā vārdu krājumā, desmitiem tūkstošu marķieru, kas kļūst par varbūtību sadalījumu: "grīda" saņem lielu daļu, "jumts" mazāku, "banāns" gandrīz nulli. Teksts, ko lasāt, ir rezultāts, atlasot no šī sadalījuma, pa vienam marķierim vienlaikus.

Cik droši modelis atlasa, ir iestatījums, ko parasti sauc par temperatūru. Zema temperatūra nozīmē, ka modelis izvēlas tuvāk saraksta virsotnei, kas dod stabilu, nedaudz plakanu un atkārtojamu rezultātu. Augsta temperatūra nozīmē, ka tas sniedzas tālāk lejup, kas dod daudzveidību un lielāku bezjēdzības risku. Tas ir vienkāršais iemesls, kāpēc tas pats jautājums, uzdots divreiz, dod divas dažādas atbildes, un tā nav kļūda. Lielākā daļa tērzēšanas rīku šo iestatījumu izvēlas jūsu vietā un par to nekad nepasaka. Ja modeli izmantojat caur API, parasti to kontrolējat paši, un temperatūras pazemināšana ir pareizais solis datu izgūšanai, klasificēšanai un visam, ko vēlaties atveidojamu.

Sekas, ko cilvēki bieži nenovērtē. Tā kā katrs marķieris tiek izvēlēts, iepriekšējiem jau esot noteiktiem, modelis nevar atgriezties atpakaļ. Vājš sākuma teikums ierobežo visu, kas seko. Tāpēc lūgums vispirms izveidot plānu, nevis uzreiz gatavu tekstu, vai vienkārši lūgums mēģināt vēlreiz, tik bieži dod labāku rezultātu nekā jau saņemtā teksta labošana.

Pirmais posms ir priekšapmācība (pretraining). Modelim tiek parādīts milzīgs teksta apjoms, un tam atkal un atkal jāminē nākamais marķieris. Ikreiz, kad tas kļūdās, tā parametri tiek nedaudz pielāgoti. Darbiniet to mēnešiem ilgi tūkstošiem specializētu mikroshēmu, un rezultātā nesaņemsiet saglabātu teksta kopiju. Jūs iegūstat saspiestu izpratni par to, kā valoda parasti veidojas, tostarp daudz faktu un struktūras likumsakarību, kas apgūtas ceļā, jo, lai pareizi minētu nākamo vārdu teikumā par fotosintēzi, ir jāzina kaut kas par fotosintēzi.

Tas, kas rodas priekšapmācības rezultātā, ir neveikli lietojams. Tas turpina tekstu, nevis atbild jums. Uzdodiet tam jautājumu, un tas var izveidot vēl piecus jautājumus, jo atklātajā internetā jautājumam bieži seko citi jautājumi. Tāds bija pētnieku stāvoklis gadus pirms produktu parādīšanās, un tas izskaidro, kāpēc sabiedrības izrāviens šķita tik pēkšņs, kad tas pienāca.

Otrais posms to novērš. Modelis tiek papildus apmācīts ar cilvēku spriedumiem par to, kura no divām atbildēm ir labāka, kā arī ar piemēriem, kur norādījumi tiek pareizi izpildīti. Jomās, kur pareizību var automātiski pārbaudīt, galvenokārt programmēšanā un matemātikā, to var novērtēt arī pēc tā, vai kods darbojās vai atbilde bija pareiza, un šo signālu ir daudz grūtāk viltot nekā cilvēku vēlmes. Šis posms pārvērš teksta turpinātāju par asistentu, un tas ir salīdzinoši neliels darbs salīdzinājumā ar priekšapmācību. Vispirms nāca zināšanas. Pēc tam nāca pieklājība.

Pieklājībai ir sava cena. Tā kā liela daļa vērtējuma atalgo to, kas cilvēkiem patika lasīt, modelis iemācās, ka labi novērtēta ir laipnība, patīkams tonis un pārliecība. Tāpēc tas dažreiz mīkstinās pareizu noliegumu, pieņems jūsu doto nepareizo pieņēmumu vai izveidos ticamu atbildi tur, kur godīgi būtu jāsaka, ka nezina. Praktisks risinājums: apstrīdiet savu paša jautājumu. Palūdziet izveidot argumentāciju pret, palūdziet, kam būtu jābūt patiesam, lai atbilde būtu nepareiza, vai norādiet, ka jūsu pieņēmums, iespējams, ir nepareizs, un lūdziet to pārbaudīt. Otrā atbilde regulāri ir labāka par pirmo, un iemesls slēpjas tajā, kā šī sistēma tika vērtēta. Vairāk par labu rezultātu iegūšanu ir rakstā kā izmantot MI.

Iedomājieties konteksta logu kā darbagaldu, pie kura modelis strādā. Viss, kas atrodas uz galda, kad tas sāk rakstīt, ir viss, ko tas var redzēt: slēptie norādījumi, ko produkts tur ievietojis, jebkuri pievienotie faili, sarunas vēsture un jūsu pēdējais jautājums. Galdam ir fiksēts izmērs, ko mēra marķieros. Pašreizējās paaudzes lielie komerciālie modeļi reklamē logus, kas sniedzas simtiem tūkstošu marķieru apjomā, un lielākie min skaitļus miljona apkārtnē, kas ir patiešām liels teksta apjoms, vairāku garu grāmatu vērtībā.

No tā izriet divas lietas, un abas cilvēkus pārsteidz. Pirmā: viss, kas atrodas ārpus galda malas, netiek lasīts. Tas netiek pāršķirstīts vai vērtēts vieglāk, tas vienkārši nav klāt, un parasti par to nesaņemat nekādu brīdinājumu. Ielīmējiet simts lappušu dokumentu produktā ar mazāku logu, un varat saņemt pārliecinošu pirmās trešdaļas kopsavilkumu. Otrā: garas sarunas tiek pārvaldītas jums aiz muguras. Produkti bieži saspiež vai izmet sarunas agrāko daļu, lai atbrīvotu vietu, tāpēc pirms četrdesmit ziņām dotais norādījums klusi pārstāj tikt ievērots.

Loga iekšienē pastāv arī kvalitātes gradients. Modeļi visuzticamāk pievērš uzmanību tam, kas atrodas ievadītā teksta sākumā un beigās, un var pārlaist materiālu, kas apglabāts ļoti gara teksta vidū. Tāpēc lielāks logs nenozīmē labāku lasīšanu. Ja kaut kas ir svarīgs, ievietojiet to tuvāk sākumam vai atkārtojiet to blakus savam jautājumam, nevis paļaujieties, ka sešdesmitā lappuse tika uztverta.

Sekas, kas patiešām maina darba veidu: modelim nav atmiņas starp sesijām. Katra saruna sākas no nulles. Jebkas, ko produkts sauc par atmiņu, ir ap modeli veidota funkcija: piezīmes, ko saglabā lietotne un klusi ielīmē atpakaļ logā nākamreiz. Pats modelis katru sarunu sāk, neko par jums nezinot. Tāpēc viss, kas tam būtu jāzina, jāievieto logā apzināti, un tas ir arguments šo materiālu turēt failos, kurus kontrolējat paši. Tas ir viss pamatojums atmiņas slānim.

Mazais valodas modelis ir veidots tāpat un veic to pašu nākamā marķiera prognozēšanu, tikai ar daudz mazāk parametru. Mazs šajā kontekstā parasti nozīmē kaut ko no dažiem miljardiem, nevis ļoti lielos modeļus, ko apkalpo datu centri, kas ir pietiekami mazs, lai darbotos uz labas kvalitātes klēpjdatora vai pat tālruņa. Vairāki no tiem ir publiskoti brīvi un lejupielādējami bez maksas.

Kompromiss ir reāls abos virzienos, tāpēc par to der runāt atklāti. Par labu: tie ir ievērojami lētāki lietošanā, atbild ātri, un, tā kā darbs notiek jūsu pašu iekārtā, teksts nekad nepamet ierīci. Ikvienam, kurš strādā ar klientu datiem, medicīnas ierakstiem, juridiskiem projektiem vai jebko, ko aptver konfidencialitātes klauzula, šis pēdējais punkts nav mazsvarīga piebilde. Bieži vien tā ir vienīgā šī rīka versija, ko drīkst izmantot.

Pret: tie ir manāmi vājāki sarežģītā argumentācijā, daudzsoļu uzdevumos, neparastās zināšanās un garā kontekstā. Ja modeli pastumjat pāri tā līmenim, tas nepasaka, ka pārsniedz savas iespējas, tas izveido sliktāku rezultātu tajā pašā pārliecinātajā tonī. Tāpēc godīgā piemērotā niša ir šaura, atkārtota, labi definēta darbība: ienākošo ziņu klasificēšana kategorijās, strukturētu lauku izvilkšana no nestrukturēta teksta, transkriptu sakārtošana, pārrakstīšana noteiktā formātā, izlemšana, vai dokuments ir aktuāls, pirms to lasa lielākais modelis. Uzdevumi, kur atbildes forma ir zināma un apjoms ir liels.

Ir izveidojies saprātīgs modelis: izmantot abus, mazu, vietēju modeli rutīnas, augsta apjoma un sensitīviem soļiem, un lielu, mākoņa modeli reizumis grūtiem jautājumiem, kad sensitīvās daļas izņemtas ārā. Mans paša risinājums ir pieticīgāks: viens mākoņa modelis un mape ar vienkāršiem teksta failiem, ko pats pārvaldu, bet virziens ir skaidrs, un privātuma arguments kļūst vien spēcīgāks, mazajiem modeļiem uzlabojoties.

Nākamā marķiera prognozēšanā nekas nepārbauda, vai rezultāts ir patiess. Valodas plūdums un precizitāte rodas no viena un tā paša procesa, tāpēc tie izklausās identiski. Kad modelis kaut ko zina, tas ir mierīgs un konkrēts. Kad tam nav ne jausmas, tas bieži ir tikpat mierīgs un konkrēts. Parastais vārds šai parādībai ir halucinācija, kas ir pārāk maigs apzīmējums. Modelis nemelo un tas nav apjucis. Tas veido visticamāko turpinājumu, un ticams nenozīmē pareizs.

Izdomāta atsauce ir vispuiskaidrākais šī mehānisma piemērs. Modelis tūkstošiem reižu redzēja atsauces formu: autors, gads, nosaukums, žurnāls, sējums, lappuses, tieši šādā secībā. Tas var izveidot atsauci, kas ideāli iederas šajā vietā, lai gan neviena no šīm sešām daļām nenorāda uz kaut ko reālu. Tas pats attiecas uz lietas numuru, tālruņa numuru, faila ceļu vai API metodi, kas izskatās tieši tāda pati kā esošās. Tas, ko modelis atveido, ir raksts, nevis fakts, un nepareiza atbilde, kas sastāv no reālistiskām daļām, ir vissmagāk pamanāma.

Galvenajam praktiskajam risinājumam ir nosaukums, izgūšana, ko bieži raksta kā RAG (retrieval augmented generation, ar izguvi papildināta ģenerēšana). Tā vietā, lai lūgtu modelim atbildēt no tā, kas nokļuvis tā parametros, sistēma vispirms meklē jūsu norādītajā dokumentu kopā, izvelk atbilstošos fragmentus un ievieto tos konteksta logā blakus jūsu jautājumam. Modelis tad atbild no teksta, kas ir tā priekšā, nevis no atmiņas, un var to citēt un norādīt avotu. Tieši tas notiek, kad rīks atbild par jūsu pašu failiem vai parāda avotus.

Izguve būtiski samazina izdomāšanu. Tā to nenovērš pilnībā. Ja meklēšana atgriež nepareizu fragmentu, modelis atbildēs pārliecinoši no šī nepareizā fragmenta. Ja tā neatrod neko noderīgu, daudzas sistēmas klusi atgriežas pie atmiņas, to nepasakot. Un modelis joprojām var nepareizi izlasīt to, kas tam dots. Izguve maina jautājumu no "vai tas zina" uz "vai tam iedeva pareizo lappusi", kas ir daudz vieglāk pārbaudāms jautājums. Vārdiem, datumiem, skaitļiem, citātiem un jebkam, ko gatavojaties izmantot, katrā gadījumā pārbaudiet paši.

Modelis ir apmācītu svaru kopums, kas darbojas piegādātāja serveros. Produkts ir viss, kas ap to izveidots, un šis apvalks ir biezāks, nekā lielākā daļa cilvēku domā. Tajā ir sistēmas norāde, slēptu instrukciju bloks, kas ievietots pirms visa, ko ierakstāt. Tajā ir saglabātas atmiņas piezīmes un noteikumi par to, kad tās tiek ievietotas. Tas apstrādā failus, izlemjot, kā PDF tiek pārvērsts tekstā un cik daudz no tā saglabājas. Tas izlemj, vai veikt tīmekļa meklēšanu un ko darīt ar rezultātiem. Un arvien vairāk tas maršrutē jūsu ziņu, izvēloties ātrāku vai lēnāku modeli atkarībā no jautājuma satura.

Tāpēc, ja tas pats jautājums vienā lietotnē šķiet asāks nekā citā, iemesls bieži nav paša modeļa kvalitāte. Tas var būt garāks logs, labāka failu apstrādes ķēde, meklēšana, kas atrada pareizo lappusi, vai sistēmas norāde, kas atbilst tieši jūsu jautājuma veidam. Tāpēc arī salīdzinošie testi tik slikti prognozē jūsu pieredzi, un tāpēc jautājums "kurš LLM ir labākais" parasti ir nepareizs jautājums. Labāki: kurš no tiem pareizi lasa manus failus, kurš ļauj man izslēgt funkcijas, un kurš ļaus man paņemt savu materiālu līdzi, kad aizeju.

Tā pati atšķirība izskaidro aģentus. MI aģents ir LLM, kam dotas piekļuves iespējas un tiesības darboties ciklā. Intelekts ir tas pats modelis, ko jau lietojāt. Tas, kas pievienots, ir sniedzamība, un savienošanas mehānismam starp modeli un reāliem rīkiem tagad ir atklāts standarts, kas izskaidrots rakstā kas ir MCP. Kad reiz varat saskatīt robežu starp modeli un produktu, lielākā daļa mārketinga kļūst saprotama.

Saliekot kopā pēdējās sadaļas, secinājums izriet pats no sevis. Modelim nav atmiņas par jums. Katra sesija sākas tukša. Vienīgais iemesls, kāpēc asistents šķiet zinām jūsu darbu, ir tas, ka kaut kas pirms atbildēšanas ievietoja attiecīgo tekstu konteksta logā. Modelis ir īrēts, aizstāts ik pēc dažiem mēnešiem un cenu nosaka kāds cits. Materiāls, kas to padarīja noderīgu, ir jūsu, vai vismaz tam vajadzētu būt.

Šim materiālam ir sava forma, ko vērts nosaukt. Konstitūcija, kas nosaka, kas jūs esat, kā vēlaties saņemt atbildes un ko sistēmai nekad nevajadzētu darīt bez jautāšanas. Atmiņa kā vienkārši faili, ko jūs paši saglabājat, nevis piezīmes, ieslēgtas viena pārdevēja kontā. Prasmes, kas ir rakstītas procedūras, kurām modelis var sekot, lai tas pats darbs katru reizi iznāktu vienādi. Rīki, kas ir savienojumi ar reālām sistēmām. Un fokuss, kas nosaka, ar ko vispār būtu jāstrādā. Pilna aina ir pieejama /aios lapā.

Nekam no tā nav vajadzīga abonēšana vai jauna lietotne, un tas ir būtiski. Teksta faili pārdzīvo modeļus. Fails, ko uzrakstīsiet šonedēļ, joprojām darīs savu darbu jebkurā produktā, kas aizstās to, ko lietojat tagad.

Tāpēc pirmais solis ir neliels. Atveriet vienkāršu teksta redaktoru un uzrakstiet pusi lappuses. Ko jūs darāt un kam. Ar ko strādājat tieši šobrīd, ar reāliem vārdiem un reāliem datumiem. Lēmumus, ko pieņemat vairumā nedēļu. Un divas trīs rindas par to, kā vēlaties saņemt atbildes, ieskaitot to, kas nekad nebūtu jāpieņem. Saglabājiet to un tad ielīmējiet virs nākamā jautājuma. Mans variants aizņem aptuveni vienu lappusi, un tā versija tiek ievietota gandrīz katrā sarunā, kas man ir.

Sākuma faili, ieskaitot paraugu, ko varat labot rindiņu pa rindiņai, atrodami /resources lapā. Viss tur ir bezmaksas un nav vajadzīga reģistrēšanās.

Ja vēlaties uzzināt, kad parādīsies nākamais materiāls, ir gaidīšanas saraksts. Tur jānorāda e-pasts, un tas ir vienīgais, ko šeit prasa.