Smajt bil-paradoss ta 'Moravec? Il-paradoss jiddikjara li raġunament avvanzat jirrikjedi ftit saħħa tal-komputazzjoni għal sistema ta 'intelliġenza artifiċjali (AI), filwaqt li jimplimenta l-ħiliet perċettivi-muturi li l-bnedmin jieħdu bħala fatt jeħtieġ riżorsi komputazzjonali enormi. Essenzjalment, il-kompiti loġiċi kumplessi huma aktar faċli għall-AI mill-kompiti sensorji bażiċi li l-istinti umani jistgħu jwettqu. Dan il-paradoss jenfasizza d-differenza bejn l-AI u l-abbiltajiet konjittivi umani f'dan l-istadju.
In-nies huma inerenti multimodali. Kull wieħed minna huwa bħal terminal intelliġenti li ġeneralment jeħtieġ li jmur l-iskola biex jiġi edukat (imħarreġ), iżda l-iskop u r-riżultat ta 'dak it-taħriġ u t-tagħlim huwa li għandna l-abbiltà li naħdmu u ngħixu b'mod awtonomu mingħajr ma niddependu fuq struzzjonijiet esterni u kontroll.
Nitgħallmu dwar id-dinja ta 'madwarna permezz ta' modalitajiet sensorji multipli bħal vista, diskors, ħoss, mess, togħma, u riħa biex tanalizza, tirraġuna, tiddeċiedi u tieħu azzjoni.
Wara snin ta 'fużjoni tas-sensuri u evoluzzjoni tal-AI, ir-robots huma fil-biċċa l-kbira mgħammra b'sensers multimodali f'dan l-istadju. Hekk kif inwasslu aktar poter tal-kompjuters għal apparati tat-tarf bħal robots, dawn l-apparati qed isiru aktar intelliġenti u aktar intelliġenti, kapaċi jħossu l-inħawi tagħhom, jifhmu u jikkomunikaw bil-lingwa naturali, jakkwistaw haptics permezz ta 'interfaces ta' sensing diġitali, kif ukoll jindunaw il-forza speċifika tar-robot, Veloċità angolari, u anke l-kamp manjetiku madwar ir-robot permezz ta 'taħlita ta' aċċellerometri, ġiroskopji u manjetometri, u aktar.
Lejn era ġdida ta 'robotika u konjizzjoni tal-magni
Qabel it-transformer u mudelli ta 'lingwi kbar (LLMs), l-implimentazzjoni tal-multimodalità fl-AI tipikament kienet teħtieġ l-użu ta' mudelli separati multipli responsabbli għal tipi differenti ta 'dejta (test, immaġini, awdjo) u l-integrazzjoni tal-modalitajiet differenti permezz ta' proċess kumpless.
Bil-miġja ta 'mudelli ta' transformer u LLMs, il-multimodalità saret aktar integrata, li tippermetti li mudell wieħed fl-istess ħin jipproċessa u jifhem diversi tipi ta 'dejta, li jirriżulta f'sistemi AI li huma aktar kapaċi li jħossuhom b'mod komprensiv l-ambjent tagħhom. Din il-bidla tejbet ħafna l-effiċjenza u l-effettività ta 'applikazzjonijiet AI multimodali.
Filwaqt li LLMs bħal GPT -3 huma primarjament ibbażati fuq it-test, l-industrija għamlet progress mgħaġġel lejn il-multimodalità. Mill-filmat ta 'OpenAi u Dall-e, u issa Sora u GPT -4 o, huma eżempji ta' mudelli li mxew lejn interazzjoni multimodalità u aktar naturali tal-kompjuter. Pereżempju, CLIP jifhem immaġini mqabbla ma 'lingwaġġ naturali, u b'hekk jitnaqqas id-distakk bejn informazzjoni viżwali u testwali; Dall-e għandu l-għan li jiġġenera immaġini bbażati fuq deskrizzjonijiet testwali. Naraw il-mudell Google Gemini li għaddej minn evoluzzjoni simili.
Fl-2024, l-evoluzzjoni multimodali taċċellera. Fi Frar, OpenAi ħareġ Sora, li tiġġenera vidjows realistiċi jew immaġinattivi bbażati fuq deskrizzjonijiet tat-test. Meta taħseb dwarha, dan jista 'jipprovdi triq promettenti għall-bini ta' simulaturi tad-dinja universali, jew issir għodda importanti għat-taħriġ tar-robots. Wara tliet xhur, GPT -4 O tejjeb b'mod sinifikanti l-prestazzjoni tal-interazzjoni umana-robot u huwa kapaċi jirraġuna f'ħin reali bejn l-awdjo, il-vista u t-test. Li tgħaqqad informazzjoni, viżwali u awdjo biex tħarreġ mudell ġdid end-to-end telimina żewġ transizzjonijiet modali mill-modalità ta 'input għal test u mbagħad minn test għal modalità ta' ħruġ, li mbagħad itejjeb b'mod drammatiku l-prestazzjoni.
Fl-istess ġimgħa fi Frar, Google ħarġet Gemini 1.5, li espandiet b'mod drammatiku t-tul tal-kuntest għal 1 miljun tokens. Dan ifisser li 1.5 Pro jista 'jipproċessa ammonti kbar ta' informazzjoni f'daqqa, inkluż siegħa ta 'vidjow, 11-il siegħa ta' awdjo, u codebase li fiha aktar minn 30, {000 linji ta 'kodiċi jew 700, {000 Words.Gemini 1.5 hija mibnija fuq ir-riċerka ewlenija ta 'Google dwar it-transformer u l-arkitettura esperta ta' membri mħallta (MOE), u s-sorsi miftuħa ta 'mudelli 2B u 7B li jistgħu jiġu skjerati fit-tarf ġenb. Fil-konferenza tal-Google I / O f'Mejju, minbarra li tirdoppja t-tul tal-kuntest u tirrilaxxa serje ta 'għodod u apps ġenerattivi tal-AI, Google esplorat il-viżjoni tagħha għall-futur tal-Proġett Astra, assistent AI għal skop ġenerali li jipproċessa informazzjoni multimodali , jifhem il-kuntest li fih utent jitqiegħed, u jinteraġixxi ma 'nies f'konversazzjonijiet b'mod naturali ħafna.
Bħala l-kumpanija wara l-open-source LLM Llama, Meta tingħaqad ukoll mal-korsa tal-Intelliġenza Artifiċjali Ġenerali (AGI).
Din il-multimodalità vera żżid ħafna l-livell ta 'intelliġenza tal-magni u twassal għal paradigmi ġodda għal ħafna industriji.
Pereżempju, ir-robots kienu jkunu omoġenji ħafna, b'xi sensuri u kapaċitajiet ta 'lokomozzjoni, iżda ġeneralment ma kellhomx il- "moħħ" biex jitgħallmu affarijiet ġodda u jadattaw għal ambjenti mhux strutturati u mhux familjari.
LLMs multimodali huma mistennija li jittrasformaw il-kapaċità tar-robots biex janalizzaw, jirraġunaw, u jitgħallmu, li jċaqalquhom mill-ispeċjalizzazzjoni għall-ġeneralizzazzjoni. Il-PC, is-servers u s-smartphones huma mexxejja fil-pjattaformi tal-kompjuters għal skopijiet ġenerali, u jistgħu jmexxu ħafna tipi differenti ta 'applikazzjonijiet tas-software biex jiksbu varjetà wiesgħa ta' funzjonijiet. Il-ġeneralizzazzjoni se tgħin biex titkabbar, tiġġenera ekonomiji ta 'skala, u l-prezzijiet jistgħu jitnaqqsu b'mod drammatiku hekk kif jitnaqqsu, u jwassal għal ċiklu virtuż ta' adozzjoni f'aktar oqsma.
Elon Musk innota l-benefiċċji tat-teknoloġija ġeneralizzata kmieni, hekk kif ir-robots ta 'Tesla evolvew minn Bumblebee fl-2022 għal Optimus Gen 1, ħabbru f'Marzu 2023, u Ġen 2, ħabbru fl-aħħar tal-2023, b'kapaċitajiet ta' versatilità u tagħlim dejjem jiżdiedu. Matul l-aħħar 6-12 xhur, rajna numru ta 'avvanzi fil-qasam tar-robotika u r-robotika umanojdi.
Teknoloġiji ġodda wara r-robotika tal-ġenerazzjoni li jmiss u l-intelliġenza inkorporata
M'hemmx dubju li għad għandna ħafna xogħol xi nagħmlu qabel l-intelliġenza inkorporata tasal għall-produzzjoni tal-massa. Għandna bżonn disinji eħfef, runtimes itwal, u pjattaformi aktar b'saħħithom tal-kompjuters tat-tarf biex jipproċessaw u jwaħħlu informazzjoni dwar id-dejta tas-sensuri biex jieħdu deċiżjonijiet f'waqthom u azzjonijiet ta 'kontroll.
U qegħdin nersqu lejn il-ħolqien ta 'robots umanojdi; Eluf ta 'snin ta' ċiviltà umana pproduċew ambjenti kullimkien iddisinjati għall-bnedmin, u sistemi robotiċi umanojdi huma mistennija li jkunu jistgħu jinteraġixxu bil-kumdità mal-bnedmin u l-ambjent u jwettqu operazzjonijiet meħtieġa f'ambjenti li jeżistu mill-bniedem minħabba x-xebh tagħhom f'forma ma 'nies. Dawn is-sistemi se jkunu adattati sew biex jimmaniġġjaw kompiti maħmuġin, perikolużi u boring bħall-kura tal-pazjent u r-riabilitazzjoni, xogħol ta 'servizz fl-industrija tal-ospitalità, għajnuniet għat-tagħlim jew kumpanji tat-tagħlim fil-qasam edukattiv, u kompiti perikolużi bħalma huma r-rispons għad-diżastri u l-immaniġġjar tal-materjali perikolużi Jonqos Applikazzjonijiet bħal dawn jużaw attributi tal-bniedem umanojdi biex jiffaċilitaw l-interazzjonijiet naturali umani-robot, jaġixxu fi spazji ċċentrati fuq il-bniedem, u jwettqu kompiti li ħafna drabi huma diffiċli għar-robots tradizzjonali biex jitwettqu.
Bosta kumpaniji tal-AI u r-robotika qed iniedu riċerka u kollaborazzjoni ġodda madwar kif jistgħu jħarrġu r-robots biex jirraġunaw aħjar u jippjanaw f'ambjenti ġodda mhux strutturati. Peress li l- "imħuħ" il-ġodda tar-robots, il-mudelli li huma mħarrġa minn qabel fuq ammonti kbar ta 'dejta għandhom kapaċitajiet ta' ġeneralizzazzjoni eċċellenti, li jippermettu lir-robots jaraw u jifhmu l-ambjenti tagħhom b'mod aktar komprensiv, jaġġustaw il-movimenti u l-azzjonijiet tagħhom ibbażati fuq feedback sensorju, u jottimizzaw il-prestazzjoni tagħhom F'varjetà ta 'ambjenti dinamiċi.
Bħala eżempju interessanti, il-kelb robot ta 'Boston Dynamics, fuq il-post, jista' jaġixxi bħala gwida tat-turs f'mużew, jinteraġixxi mal-viżitaturi, jintroduċihom fid-diversi esebiti, u jwieġeb il-mistoqsijiet tagħhom. Jista 'jkun diffiċli li wieħed jemmen, iżda f'dan il-każ ta' użu, il-wirjiet divertenti, interattivi u sottili ta 'Spot huma iktar importanti milli niżguraw li l-fatti huma korretti.
Transformer tar-Robotika: Il-Moħħ Ġdid tar-Robotika
Robotics Transformer (RT) qed jevolvi malajr biex jittraduċi inputs multimodali direttament f'kodiċi li jista 'jitħaddem. RT -2 ta 'Google DeepMind iwettaq kif ukoll il-predeċessur tagħha, RT -1, b'rata ta' suċċess kważi 100% meta twettaq kompiti li kienu jidhru qabel. Madankollu, meta mħarrġa bil-Palm-E (mudell ta 'lingwa multimodali inkorporata orjentat lejn ir-robot) u Pali-X (mudell ta' lingwa multilingwi fuq skala kbira, mhux iddisinjat speċifikament għar-robots), RT {-2 għandu kapaċitajiet ta 'ġeneralizzazzjoni aħjar u aktar effiċjenti rt -1 fuq kompiti li ma jidhrux.
Microsoft introduċiet Llava, assistent fuq skala kbira u assistent tal-vista. Iddisinjat oriġinarjament għal kompiti bbażati fuq it-test, LLAVA jqabbad il-qawwa ta 'GPT -4 biex toħloq paradigma ġdida għal struzzjonijiet multimodali biex issegwi d-dejta, tintegra bla xkiel komponenti testwali u viżwali, li tista' tkun utli għal kompiti robotiċi. Mal-introduzzjoni tagħha, LLAVA stabbilixxiet rekords ġodda għal chat multimodali u kompiti ta 'kwizz xjentifiku, li diġà jaqbżu l-kapaċitajiet medji tal-bniedem.
Kif imsemmi qabel, l-inkwiet ta 'Tesla fir-robotika ta' l-iskop umanojdi u AI huwa sinifikanti mhux biss minħabba li hija mfassla għall-produzzjoni tal-iskala u tal-massa, iżda wkoll minħabba li l-fondazzjoni tat-teknoloġija qawwija għal kollox awto-sewqan (FSD) tal-awtopilota ta 'Tesla għall-karozzi tista' tintuża għaliha robots. Tesla għandha wkoll każ ta 'użu ta' manifattura intelliġenti għall-applikazzjoni ta 'Optimus għall-proċess ta' produzzjoni ta 'vetturi ta' enerġija l-ġdida tagħha.
ARM hija l-pedament tal-futur tar-robotika
ARM jemmen li l-moħħ robotiku, kemm il- "moħħ kbir" kif ukoll il- "moħħ żgħir," għandhom ikunu sistema ta 'kompjuters AI eteroġenja li tagħti prestazzjoni superjuri, rispons f'ħin reali, u effiċjenza fl-enerġija.
Ir-robotika tinvolvi firxa wiesgħa ta 'kompiti, inkluż komputazzjoni bażika (eż., Tibgħat u tirċievi sinjali lejn u minn muturi), proċessar ta' dejta avvanzat (eż., Interpretazzjoni ta 'immaġni u dejta tas-sensuri), u t-tħaddim tal-LLMs multimodali msemmija qabel. Is-CPU huwa adattat tajjeb għal kompiti ta 'skop ġenerali, filwaqt li l-pedali tal-gass AI u l-GPUs jistgħu jimmaniġġjaw b'mod aktar effiċjenti l-kompiti ta' proċessar paralleli, bħalma huma t-tagħlim tal-magni (ML) u l-ipproċessar tal-grafika. Pedali addizzjonali tal-gass bħal proċessuri tas-sinjal tal-immaġini u codecs tal-vidjow jistgħu wkoll jiġu integrati biex itejbu l-kapaċitajiet tal-vista tar-robot u l-effiċjenza tal-ħażna / trasmissjoni. Barra minn hekk, is-CPU għandu jkollu rispons f'ħin reali u jeħtieġ li jkun jista 'jmexxi sistemi operattivi bħal pakketti Linux u ROS.
Meta tkun estiża għall-munzell tas-softwer robotiku, is-saff tas-sistema operattiva jista 'jeħtieġ ukoll sistema operattiva f'ħin reali (RTOs) li tista' timmaniġġa b'mod affidabbli l-kompiti kritiċi tal-ħin, kif ukoll distribuzzjoni Linux personalizzata għar-robotika, bħal ROS, li tista 'tipprovdi Servizzi ddisinjati għal clusters tal-kompjuters eteroġenji. Aħna nemmnu li l-istandards u l-programmi ta 'ċertifikazzjoni sponsorjati mill-ARM bħal SystemReady u PSA Certified se jgħinu biex jinbidlu l-iżvilupp ta' softwer robotiku. System Ready hija mfassla biex tiżgura li d-distribuzzjonijiet standard ta 'OS sinjuri jimxu fuq firxa wiesgħa ta' sistema fuq ċipep (SOCS) ibbażati fuq l-arkitettura tad-driegħ, filwaqt li PSA ċċertifikata tgħin biex tissimplifika soluzzjonijiet ta 'implimentazzjoni tas-sigurtà biex tissodisfa s-sigurtà reġjonali u r-rekwiżiti regolatorji għal apparati konnessi.
Avvanzi f'mudelli multimodali fuq skala kbira u AI ġenerattiva li tħabbar era ġdida fl-iżvilupp ta 'robots AI u robots umanojdi. Flimkien mal-kompjuters u l-ekosistemi tal-AI, l-effiċjenza fl-enerġija, is-sigurtà u s-sigurtà funzjonali huma essenzjali biex isiru r-robotika mainstream f'din l-era l-ġdida. Il-proċessuri tad-driegħ huma diġà użati ħafna fir-robotika, u nistennew bil-ħerqa li naħdmu mill-qrib mal-ekosistema biex nagħmlu l-ARM bħala pedament tal-futur tar-robotika tal-AI.