Fl-industrija tat-teknoloġija, ma tantx jista’ jkollok konversazzjoni mingħajr ma xi ħadd isemmi l-inferenza, l-intelliġenza artifiċjali (AI) u t-tagħlim tal-magni (ML). Madankollu, huwa importanti li wieħed jinnota li filwaqt li dawn it-termini kollha huma interkonnessi, huma wkoll differenti b'mod sinifikanti.
F'dan l-artikolu, aħna ser nispjegaw id-differenzi fundamentali u nenfasizzaw l-importanza li tuża t-teknoloġija AI tat-tarf ibbażata fuq l-ipproċessar tat-tensor-, partikolarment fis-sistemi edge u inkorporati. Meta mqabbla ma' soluzzjonijiet ibbażati fuq unitajiet tal-ipproċessar tal-grafika (GPUs), unitajiet tal-ipproċessar tat-tensor (TPUs) joffru prestazzjoni aktar effiċjenti u kost-effettiva. Aħna ser nipprovdu wkoll xi eżempji ta' każijiet ta' użu li juru fejn tista' tiltaqa' ma' soluzzjonijiet ta' AI edge fil-futur.
Fundamenti tal-ML u l-Inferenza
ML tirreferi għall-metodoloġija ta 'mudelli ta' taħriġ li jużaw data rappreżentattiva biex il-magni jkunu jistgħu jitgħallmu kif iwettqu l-kompiti. Dan il-proċess jista 'jkun komputazzjoni intensiv ħafna, u jiġġenera triljuni ta' operazzjonijiet għal kull punt ġdid ta 'dejta ta' taħriġ. In-natura iterattiva tal-proċess ta' taħriġ, flimkien mas-settijiet ta' dejta enormi ta' taħriġ meħtieġa biex tinkiseb preċiżjoni għolja, tmexxi d-domanda għal proċessar ta' punt floating- ta' prestazzjoni estremament għolja-. It-taħriġ tal-ML huwa implimentat l-aħjar bħala infrastruttura taċ-ċentru tad-dejta, fejn l-ispejjeż tal-kapital u operattivi għoljin jistgħu jiġu ġġustifikati billi jiġu amortizzati fuq bosta klijenti.
L-inferenza tinvolvi l-użu ta' mudelli mħarrġa biex tiġġenera taqbiliet potenzjali għal dejta ġdida rilevanti għad-dejta rappreżentattiva li fuqha tħarreġ il-mudell. L-inferenza għandha l-għan li tagħti tweġibiet rapidi fi żmien millisekondi. Eżempji ta' inferenza jinkludu rikonoxximent tat-taħdit, traduzzjoni tal-lingwa fil--ħin reali, viżjoni bil-magni, u deċiżjonijiet ta' ottimizzazzjoni ta' inserzjoni ta' reklamar. Filwaqt li l-inferenza teħtieġ biss frazzjoni tal-qawwa tal-ipproċessar meħtieġa għat-taħriġ, xorta taqbeż ħafna dak li sistemi tradizzjonali bbażati fuq unità ċentrali tal-ipproċessar (CPU)-jistgħu jwasslu, partikolarment għall-applikazzjonijiet tal-viżjoni bil-kompjuter. Din hija r-raġuni għaliex tant kumpaniji qed jirrikorru għal soluzzjonijiet ta' aċċelerazzjoni bbażati fuq it-tensor-sew bħala IP fuq SoCs jew bħala aċċeleraturi ta'-sistema-biex jiksbu l-ħinijiet ta' rispons sub-tieni meħtieġa fit-tarf. Ir-realtà hija li l-infiq anke minuta jew ftit sekondi jipproċessa immaġini f'sistema ta 'viżjoni mhux utli ħafna. Is-sistemi ta' viżjoni industrijali qed ifittxu veloċitajiet ta' pproċessar ta' livell-millisekondi.
Separazzjoni ta' Taħriġ u Inferenza
L-iskjerament tal-istess ħardwer użat għat-taħriġ biex jimmaniġġja l-piżijiet tax-xogħol tal-inferenza jista' jirriżulta f'{0}}provvista żejda ta' magni tal-inferenza b'aċċeleraturi u ħardwer tas-CPU. Is-soluzzjonijiet tal-GPU żviluppati għall-ML matul l-aħħar għaxar snin mhumiex neċessarjament l-aħjar għażla għall-iskjerament ta'-skala kbira ta' teknoloġiji ta' inferenza ML. Id-dijagramma t'hawn taħt turi perfettament it-tqabbil bejn l-aċċeleraturi TPU u l-aċċeleraturi GPU. Juri biċ-ċar li l-aċċeleraturi tat-TPU jagħtu konsum ta' enerġija aktar baxx, spejjeż imnaqqsa, u effiċjenza ogħla meta mqabbla mas-soluzzjonijiet AGX ibbażati fuq GPU-, filwaqt li xorta jipprovdu livelli ta' prestazzjoni konvinċenti għal applikazzjonijiet ta' inferenza.
Konsiderazzjoni kritika oħra meta toqrob is-soluzzjonijiet tat-taħriġ u l-inferenza tal-ML hija l-ambjent tas-softwer. Illum, bosta libreriji popolari qed jintużaw, bħal CUDA għal GPUs NVIDIA, oqfsa ML bħal TensorFlow u PyTorch, libreriji ottimizzati ta' mudelli trans-pjattaforma bħal Keras, u aktar. Dawn is-settijiet ta' għodda huma essenzjali għall-iżvilupp u t-taħriġ ta' mudelli ML, iżda l-applikazzjonijiet ta' inferenza jeħtieġu sett ta' għodod tas-softwer differenti u iżgħar.
Is-settijiet ta' għodda ta' inferenza jiffokaw fuq it-tħaddim ta' mudelli fuq pjattaformi fil-mira. Jappoġġaw il-porting ta 'mudelli mħarrġa għal pjattaformi, li jistgħu jinvolvu xi trasformazzjonijiet tal-operaturi, kwantizzazzjoni, u servizzi ta' integrazzjoni tal-host. Madankollu, dan jirrappreżenta sett relattivament sempliċi ta 'funzjonalitajiet meta mqabbla ma' dawk meħtieġa għall-iżvilupp tal-mudell u t-taħriġ.
Għodod ta' inferenza jibbenefikaw milli jibdew b'rappreżentazzjoni standardizzata tal-mudell. L-Open Neural Network Exchange (ONNX) huwa l-format standard għar-rappreżentazzjoni tal-mudelli ML. Kif jimplika l-isem, huwa standard miftuħ ġestit bħala proġett tal-Fondazzjoni Linux. Teknoloġiji bħal ONNX jippermettu d-diżakkoppjar ta 'sistemi ta' taħriġ u inferenza, li jagħtu lill-iżviluppaturi l-libertà li jagħżlu pjattaformi ottimizzati differenti għal kull wieħed.
Eżempju ta' Applikazzjonijiet Viżwali
Hekk kif it-teknoloġiji tal-proċessuri tal-ML u tal-inferenza qed ikomplu javvanzaw u jevolvu, l-applikazzjonijiet qed jipproliferaw. Hawn taħt huma biss ftit postijiet li tista 'tiltaqa' ma 'din it-teknoloġija fil-futur.
Servers Edge f'intrapriżi bħal fabbriki, sptarijiet, ħwienet tal-bejgħ bl-imnut, u istituzzjonijiet finanzjarji. Pereżempju, f'ambjenti industrijali, l-AI tista 'tgħin fil-ġestjoni tal-inventarju, l-iskoperta tad-difetti, u anke l-manutenzjoni ta' tbassir qabel ma jinqalgħu l-kwistjonijiet. Fil-bejgħ bl-imnut, tippermetti karatteristiċi bħall-istima tal-pożi, bl-użu tal-viżjoni tal-kompjuter biex tiskopri u tanalizza l-qagħda tal-bniedem. Id-dejta minn din l-analiżi tgħin lill-bejjiegħa tal-briks-u-mehries jifhmu aħjar l-imġieba tal-bniedem u t-traffiku tas-saqajn fil-ħwienet tagħhom, u tippermettilhom jottimizzaw it-tqassim tal-ħwienet għal bejgħ massimu u sodisfazzjon tal-klijent.
Immaġini ta'-preċiżjoni/-għoli ta' kwalità għal applikazzjonijiet inklużi robotika, awtomazzjoni/spezzjoni industrijali, immaġini mediċi, immaġini xjentifiċi, kameras ta' sorveljanza u rikonoxximent ta' oġġetti, u fotonika. Pereżempju, metodi ta' tagħlim bil-magni wrew il-kapaċità li jiskopru l-kanċer billi jipproċessaw ir-raġġi X-diġitali. Dan il-proċess jinvolvi l-iżvilupp ta' mudell ML iddisinjat biex jipproċessa immaġini tar-raġġi X-, tipikament bl-użu ta' algoritmi ta' segmentazzjoni semantika mħarrġa biex jidentifikaw leżjonijiet kanċeroġeni. Waqt it-taħriġ, immaġini tal-kanċer identifikati mir-radjoloġisti jintużaw biex jgħallmu lin-netwerk x'inhu kanċer, x'inhu kanċer, u kif jidhru tipi differenti ta 'kanċer. Iktar ma jitħarreġ mudell ML, aħjar isir biex jimmassimizza d-dijanjosi korretti u jimminimizza d-dijanjosi żbaljati. Dan ifisser li t-tagħlim tal-magni jiddependi mhux biss fuq disinn ta’ mudell intelliġenti iżda bl-istess mod fuq ammonti vasti (għaxriet ta’ eluf sa miljuni) ta’ eżempji ta’ data kkurata bir-reqqa fejn il-kanċer ġie identifikat b’mod espert.
Karretti tax-Xiri Intelliġenti-Diversi kumpaniji qed jiżviluppaw u jużaw sistemi intelliġenti tax-xiri li jagħrfu l-prodotti mhux mill-barcodes UPC tagħhom, iżda mid-dehra viżwali tal-ippakkjar innifsu. Din il-karatteristika tippermetti lix-xerrejja biex sempliċement ipoġġu oġġetti fil-karrettun jew fuq is-sistema ta 'checkout mingħajr il-bżonn li jillokalizzaw il-kodiċi UPC u jiskanjawh bi laser scanner UPC. Din it-teknoloġija tagħmel il-proċess tax-xiri aktar preċiż, aktar mgħaġġel u aktar konvenjenti.
Teħid id-Deċiżjoni t-Tajba
Il-kumpaniji għandhom jevalwaw is-soluzzjonijiet kollha disponibbli llum u jagħżlu l-aħjar waħda abbażi tal-każ tal-użu speċifiku tagħhom. Ma jistgħux sempliċement jassumu li s-soluzzjonijiet kollha tal-AI huma implimentati bl-aħjar mod fuq apparati tal-GPU, peress li s-soluzzjonijiet ibbażati fuq TPU-offerta effiċjenza ogħla tal-ipproċessar u użu aktar baxx tas-silikon, u b'hekk inaqqsu l-konsum tal-enerġija u l-ispejjeż.