Pêş-pêvajoya AI çi ye?

Pêş-pêvajoya AI çi ye?

Bersiva kurt: Pêş-pêvajoya AI komek gavên dubarekirî ye ku daneyên xav û bi guherbariya bilind vediguherîne têketinên modela domdar, di nav de paqijkirin, kodkirin, pîvankirin, tokenkirin û veguherînên wêneyê. Ev girîng e ji ber ku heke têketinên perwerdehiyê û têketinên hilberînê ji hev cûda bibin, model dikarin bêdeng têk biçin. Ger gavek parametreyan "fêr bibe", wê tenê li ser daneyên perwerdehiyê bicîh bikin da ku ji rijandinê dûr bikevin.

Pêş-pêvajoya AI her tiştê ku hûn bi daneyên xav berî (û carinan di dema) perwerde an jî texmînkirinê de dikin e, da ku modelek bi rastî jê fêr bibe. Ne tenê "paqijkirin". Ew paqijkirin, şekildan, pîvandin, kodkirin, zêdekirin û pakkirina daneyan di temsîlek domdar de ye ku dê paşê bi bêdengî modela we nexebitîne. [1]

Xalên sereke:

Pênasîn : Pêş-pêvajoykirin tabloyên xav, nivîs, wêne û tomarên tomarê vediguherîne taybetmendiyên amade ji bo modelê.

Lihevhatî : Ji bo pêşîgirtina li têkçûnên nelihevhatinê, di dema perwerde û texmînkirinê de heman veguherînan bicîh bînin.

Rijandin : Skalerên, kodker û tokenîzeran tenê li ser daneyên perwerdeyê bicîh bikin.

Dubarekirin : Bi statîstîkên vekolînbar boriyan ava bikin, ne bi rêzikên şaneyên defteran ên ad-hoc.

Çavdêriya Berhemanînê : Çewtî û guherînan bişopînin da ku têketin hêdî hêdî performansê xirab nekin.

Gotarên ku hûn dikarin piştî vê yekê bixwînin:

🔗 Meriv çawa modelên AI-ê ji bo performansa cîhana rastîn diceribîne
Rêbazên pratîkî ji bo nirxandina rastbûn, xurtbûn û xeletiyê bi lez.

🔗 Gelo nivîs-bi-axaftinê AI ye û ew çawa dixebite
Bingehên TTS, karanînên mifteyê, û sînorkirinên hevpar ên îroyîn rave dike.

🔗 Gelo AI dikare îro nivîsandina destnivîsê bi awayekî rast bixwîne?
Zehmetiyên naskirinê, amûrên çêtirîn, û serişteyên rastbûnê vedihewîne.

🔗 AI di karên hevpar de çiqas rast e
Faktorên rastbûnê, pîvanan, û pêbaweriya cîhana rastîn parve dike.

Pêş-pêvajoya AI bi zimanekî sade (û çi nîne) 🤝

Pêvajoya pêş-proseskirina AI veguherîna têketinên xav (tablo, nivîs, wêne, tomar) bo taybetmendiyên amade-modelê ye. Ger daneyên xav garajek tevlihev bin, pêvajoya pêş-proseskirinê ew e ku hûn qutiyan nîşan dikin, zibilên şikestî diavêjin, û tiştan li hev dicivînin da ku hûn bi rastî bêyî birîndarî derbas bibin.

Ew ne model bi xwe ye. Ew tiştên ku modelê gengaz dikin in:

  • veguherandina kategoriyan bo hejmaran (yek-germ, rêzkirî, hwd.) [1]

  • pîvandina rêjeyên hejmarî yên mezin bo rêjeyên maqûl (standardkirin, kêmtirîn-zêdetirîn, hwd.) [1]

  • nîşankirina nivîsê bo nasnameyên têketinê (û bi gelemperî maskeke baldariyê) [3]

  • guhertina mezinahî/birrîna wêneyan û sepandina veguherînên diyarker li hember veguherînên rasthatî bi awayekî guncaw [4]

  • avakirina boriyên dubarekirî da ku perwerde û têketinên "jiyana rastîn" bi awayên nazik ji hev cuda nebin [2]

Têbînîyek piçûk a pratîkî: "pêvajoya pêşwext" her tiştê ku berî ku model têketinê bibîne bi berdewamî diqewime . Hin tîm vê yekê dikin "endezyariya taybetmendiyan" û "paqijkirina daneyan", lê di jiyana rast de ew xetên tevlihev dibin.

 

Pêş-pêvajoya AI

Çima pêş-pêvajoya AI ji ya ku mirov qebûl dikin girîngtir e 😬

Modelek hevberkirina qaliban e, ne xwendevanek hişê ye. Ger têketinên we nelihevhatî bin, model qaîdeyên nelihevhatî fêr dibe. Ev ne felsefî ye, ew bi awayekî êşdar rastîn e.

Pêş-pêvajoyê alîkariya we dike:

  • Bi danîna taybetmendiyan di nav temsîlên ku texmînker dikarin bi awayekî pêbawer bikar bînin de (bi taybetî dema ku pîvankirin/kodkirin tê de heye) aramiya fêrbûnê baştir bikin

  • Dengê kêm bike bi nîşandana rastiya tevlihev wekî tiştek ku modelek dikare jê giştî bike (li şûna jiberkirina tiştên ecêb).

  • Modên têkçûna bêdeng ên wekî rijandin û nelihevhatinên perwerde/servîskirinê asteng bikin (cureya ku di pejirandinê de "ecêb" xuya dike û dûv re di hilberînê de rûberû dike). [2]

  • Dubarekirinê bileztir bike ji ber ku veguherînên dubarekirî her roja hefteyê ji spagetîyên defteran çêtir in.

Her wiha, ew der e ku gelek "performansa modelan" bi rastî ji wir tê. Mîna… ecêb e ku gelek. Carinan neheq xuya dike, lê ev rastî ye 🙃

Çi boriyeke pêş-pêvajoya AI-ê ya baş çêdike ✅

"Guhertoyek baş" a pêş-pêvajoyê bi gelemperî xwedî van taybetmendiyan e:

  • Dubarekirin : heman têketin → heman derketin (bê tesadufîyeke sirrî heye heya ku ew zêdekirineke bi mebest nebe).

  • Lihevhatina xizmetkirina perwerdeyê : her tiştê ku hûn di dema perwerdeyê de dikin, di dema texmînkirinê de bi heman awayî tê sepandin (heman parametreyên hatine sazkirin, heman nexşeyên kategoriyê, heman mîhenga tokenîzatorê, hwd.). [2]

  • Ewlehiya rijandinê : tiştek di nirxandin/ceribandinê de bandorê li tu lihevhatinê nake. (Zêdetir li ser vê dafikê di demek kurt de.) [2]

  • Çavdêrîkirî : hûn dikarin venêrin ka çi guheriye (statîstîkên taybetmendiyan, windahî, hejmartinên kategoriyan) ji ber vê yekê debugkirin ne endezyariya li ser bingeha vibes e.

Eger pêş-pêvajoya te komek ji şaneyên defteran be ku jê re final_v7_really_final_ok … tu dizanî ka ew çawa ye. Ew dixebite heta ku ew raweste 😬

Blokên bingehîn ên pêş-pêvajoya AI 🧱

Li pêş-pêvajoyê wek komek blokên avahiyê yên ku hûn wan di boriyekê de bi hev re dikin yek bifikirin.

1) Paqijkirin û piştrastkirin 🧼

Karên tîpîk:

  • dubareyan jê bibe

  • nirxên wenda bi rê ve bibin (berdin, ferz bikin, an jî kêmasiyan bi awayekî eşkere temsîl bikin)

  • cure, yekîne û rêzan bicîh bîne

  • têketinên xelet tespît bike

  • formatên nivîsê standard bike (cîhê spî, qaîdeyên firehkirinê, taybetmendiyên Unicode)

Ev beş ne ​​balkêş e, lê rê li ber xeletiyên pir bêaqil digire. Ez vê bi evîn dibêjim.

2) Kodkirina daneyên kategorîk 🔤

Piraniya modelan nikarin rasterast rêzikên xav ên wekî "red" an "premium_user" .

Rêbazên hevpar:

  • Kodkirina yek-germ (kategorî → stûnên dualî) [1]

  • Kodkirina rêzî (kategorî → ID-ya hejmarî) [1]

Tiştê sereke ne ew e kîjan kodkerê hildibijêrin - ew e ku nexşekirin domdar bimîne û di navbera perwerde û texmînkirinê de "şeklê xwe neguherîne". Bi vî rengî hûn bi modelek diqedin ku ne li ser înternetê baş xuya dike û li ser înternetê wekî nexwestî tevdigere. [2]

3) Pîvankirin û normalîzekirina taybetmendiyan 📏

Pîvankirin girîng e dema ku taybetmendî li ser astên pir cuda ne.

Du klasîk:

  • Standardîzekirin : navînî rakin û guherîna pîvandinê bo yekîneyê biguherînin [1]

  • Pîvana herî kêm-zêde : her taybetmendiyekê di nav rêzek diyarkirî de pîvan bike [1]

Tewra dema ku hûn modelên ku "bi piranî li hev dikin" bikar tînin jî, mezinkirin pir caran fikirîna li ser boriyan hêsantir dike - û şikandina bi xeletî dijwartir dike.

4) Endezyariya Taybetmendiyan (ango xapandina kêrhatî) 🧪

Li vir e ku hûn bi afirandina sînyalên çêtir karê modelê hêsantir dikin:

  • rêjeyên (klîk / nîşandan)

  • pencereyên gerok (N rojên dawî)

  • hejmar (bûyer li gorî bikarhêner)

  • veguherînên log ji bo belavkirinên dûvik-giran

Li vir hunerek heye. Carinan hûn dikarin taybetmendiyekê biafirînin, xwe serbilind hîs bikin… û ew tiştek nake. An jî xerabtir, ew diêşîne. Ev normal e. Bi taybetmendiyan ve girêdayî nebin - ew jî ji we hez nakin 😅

5) Dabeşkirina daneyan bi awayê rast ✂️

Ev eşkere xuya dike heta ku ew nebe:

  • dabeşkirinên rasthatî ji bo daneyên iid

  • dabeşkirinên li ser bingeha demê ji bo rêzenivîsên demê

  • dabeşkirinên komkirî dema ku sazî dubare dibin (bikarhêner, cîhaz, nexweş)

Û ya girîng: berî sazkirina pêş-pêvajoya ku ji daneyan fêr dibe, parçe bike . Ger gava we ya pêş-pêvajoyê parametreyan (wek mînak rêbaz, ferheng, nexşeyên kategoriyan) "fêr bibe", divê ew wan tenê ji perwerdeyê fêr bibe. [2]

Pêş-pêvajoya AI li gorî celebê daneyê: tabloyî, nivîs, wêne 🎛️

Pêvajoya pêş-pêvajoyê li gorî tiştê ku hûn didin modelê şeklê xwe diguhere.

Daneyên tabloyî (spreadsheets, logs, databases) 📊

Gavên hevpar:

  • stratejiya nirxa winda

  • kodkirina kategorîk [1]

  • pîvandina stûnên hejmarî [1]

  • birêvebirina derveyî (qaîdeyên domainê piraniya caran ji "birîna bêserûber" çêtir in)

  • taybetmendiyên wergirtî (komkirin, derengketin, statîstîkên gerok)

Şîreta pratîkî: komên stûnan bi awayekî zelal destnîşan bikin (hejmarî vs kategorîk vs nasname). Ezê we yê pêşerojê dê spasiya we bike.

Daneyên nivîsê (NLP) 📝

Pêvajoya pêş-nivîsê bi gelemperî ev tiştan dihewîne:

  • tokenkirin bo token/peyvên binî

  • veguherîn bo nasnameyên têketinê

  • dagirtin/qutkirin

  • çêkirina maskên baldariyê ji bo komkirinê [3]

Qaydeyek piçûk ku êşê kêm dike: ji bo sazkirinên li ser bingeha transformer, mîhengên tokenîzatorê yên ku ji modelê têne hêvîkirin bişopînin û heta ku sedemek we tune be, freestyle nekin. Freestyle ew e ku hûn çawa bi "ew perwerde dike lê ecêb e" diqedin

Wêne (dîtina komputerê) 🖼️

Pêş-pêvajoya tîpîk:

  • mezinahî biguherîne / bibire bo şeklên yekreng

  • veguherînên diyarker ji bo nirxandinê

  • veguherînên rasthatî ji bo zêdekirina perwerdeyê (mînak, birîna rasthatî) [4]

Hûrgiliyek ku mirov ji bîr dikin: "veguherînên bêserûber" ne tenê hestek in - ew bi rastî her gava ku têne gazîkirin parametreyan nimûne digirin. Ji bo perwerdekirina cûrbecûriyê pir baş e, ji bo nirxandinê pir xirab e heke hûn ji bîr bikin ku bêserûberiyê vemirînin. [4]

Dafika ku her kes tê de dikeve: rijandina daneyan 🕳️🐍

Derketin ew dem e ku agahî ji daneyên nirxandinê bi dizî derbasî perwerdehiyê dibin - pir caran bi rêya pêş-pêvajoyê. Ew dikare modela we di dema pejirandinê de bi efsûnî xuya bike, dûv re jî di cîhana rastîn de we bêhêvî bike.

Şêwazên rijandina hevpar:

  • pîvandin bi karanîna statîstîkên daneyên tevahî (li şûna tenê perwerdehiyê) [2]

  • nexşeyên kategoriyê yên avakirina bi karanîna trên+testê bi hev re [2]

  • her gaveke fit() an fit_transform() ku koma testê "dibîne" [2]

Qanûna sereke (hêsan, hovane, bi bandor):

  • her tiştê ku minasib tenê di dema perwerdeyê de guncaw be.

  • Piştre hûn veguherînê bi karanîna wî transformatorê sazkirî dikin. [2]

Û heke hûn dixwazin "çiqas xirab be?" kontrol bikin: belgeyên scikit-learn bi xwe mînakek rijandinê nîşan didin ku tê de rêza pêş-pêvajoyek xelet rastbûnek li dora 0.76 li ser hedefên rasthatî dide - dûv re piştî ku rijandin hate rastkirin vedigere ~ 0.5 . Bi vî rengî rijandin dikare bi awayekî bawerbar xelet xuya bike. [2]

Bê kaos pêş-pêvajoyê têxin hilberînê 🏗️

Gelek model di hilberînê de têk diçin ne ji ber ku model "xirab" e, lê ji ber ku rastiya têketinê diguhere - an jî xeta we diguhere.

Pêvajoya pêş-pêvajoya hilberînê bi gelemperî ev tiştan dihewîne:

  • Artefaktên tomarkirî (nexşeyên kodker, parametreyên pîvanker, mîhenga tokenîzer) ji ber vê yekê inference heman veguherînên fêrbûyî bikar tîne [2]

  • Peymanên têketinê yên hişk (stûn/cûre/rêze yên çaverêkirî)

  • Çavdêrîkirina ji bo xwarbûn û nelirêtiyê , ji ber ku daneyên hilberînê dê biherikin [5]

Eger hûn pênaseyên berbiçav dixwazin: Çavdêriya Modela AI ya Vertex a Google-ê di navbera skew-ya xizmetkirina perwerdehiyê (belavkirina hilberînê ji perwerdeyê dûr dikeve) û drift-a texmînê (belavkirina hilberînê bi demê re diguhere) de cûda dike, û çavdêrîkirina hem ji bo taybetmendiyên kategorîk û hem jî ji bo taybetmendiyên hejmarî piştgirî dike. [5]

Ji ber ku surprîz biha ne. Û ne yên kêfxê ne.

Tabloya berawirdkirinê: amûrên pêş-pêvajoyê + çavdêriyê yên hevpar (û ew ji bo kê ne) 🧰

Amûr / pirtûkxane Baştirîn ji bo Biha Çima ew dixebite (û piçek dilsozî)
pêş-pêvajoya scikit-fêrbûnê Boriyên ML yên tabloyî Belaş Kodkerên zexm + pîvanker (OneHotEncoder, StandardScaler, hwd.) û tevgera pêşbînîkirî [1]
Tokenîzerên Rûyê Hembêzkirinê Amadekariya têketina NLP Belaş Nasnameyên têketinê + maskên baldariyê bi awayekî domdar li seranserê rêbazan/modelan hildiberîne [3]
torchvision veguherîne Dîtin diguhere + zêde dibe Belaş Rêbazek paqij ji bo tevlihevkirina veguherînên diyarker û rasthatî di yek lûleyê de [4]
Çavdêriya Modela AI ya Vertex Tesbîtkirina drift/çewtîyê di hilberê de Bi pere (ewr) Monîtor nîşan didin ku skew/drift û dema ku sînorên sînor derbas dibin hişyarî didin [5]

(Erê, li ser maseyê hîn jî nêrîn hene. Lê qet nebe ew nêrînên rast in 😅)

Lîsteyek kontrolê ya pêş-pêvajoyê ya pratîkî ku hûn dikarin bi rastî bikar bînin 📌

Berî perwerdeyê

  • Şêweyekî têketinê diyar bike (cure, yekîne, rêzeyên destûrdayî)

  • Nirxên wenda û dubareyên kontrolkirinê

  • Daneyan bi awayê rast parçe bike (rasthatî / li gorî demê / komkirî)

  • Pêş-pêvajoya lihevhatinê tenê di perwerdehiyê ( lihevhatin / fit_transform di perwerdehiyê de dimîne) [2]

  • Berhemanên pêş-pêvajoyê hilînin da ku texmîn bikaribe wan ji nû ve bikar bîne [2]

Di dema perwerdeyê de

  • Zêdekirina rasthatî tenê li cihê guncaw bicîh bîne (bi gelemperî tenê dabeşkirina perwerdeyê) [4]

  • Pêş-pêvajoya nirxandinê diyarker bihêle [4]

  • Guhertinên pêş-pêvajoyê yên wekî guhertinên modelê bişopînin (ji ber ku ew hene)

Berî bicihkirinê

  • Piştrast bike ku texmînkirin rêça pêş-pêvajoyê û artefaktên wekhev bikar tîne [2]

  • Çavdêriya drift/skew saz bike (heta kontrolên belavkirina taybetmendiyên bingehîn jî pir bi bandor in) [5]

Lêkolîneke kûr: şaşiyên pêş-pêvajoyê yên hevpar (û çawa ji wan dûr bikevin) 🧯

Çewtiya 1: "Ez ê zû her tiştî normalîze bikim" 😵

Eger hûn parametreyên pîvandinê li ser tevahiya daneyan hesab bikin, hûn agahdariya nirxandinê derdixin. Li ser trênê bicîh bikin, yên mayî veguherînin. [2]

Çewtiya 2: Kategoriyan ber bi kaosê ve diçin 🧩

Eger nexşerêya kategoriya we di navbera perwerde û texmînkirinê de biguhere, modela we dikare bêdeng cîhanê şaş bixwîne. Nexşeyan bi rêya artefaktên tomarkirî rast bihêlin. [2]

Çewtiya 3: zêdekirina bêserûber dikeve nav nirxandinê 🎲

Veguherînên rasthatî di perwerdeyê de pir baş in, lê dema ku hûn hewl didin performansê bipîvin, divê ew "bi dizî vekirî" nebin. (Random tê wateya rasthatî.) [4]

Têbînîyên Dawî 🧠✨

Pêş-pêvajoya AI hunera dîsîplînkirî ya veguherandina rastiya tevlihev bo têketinên modela domdar e. Ew paqijkirin, kodkirin, pîvankirin, tokenkirin, veguherîna wêneyan, û -ya herî girîng-borî û berhemên ku dubare dibin vedihewîne.

  • Pêş-pêvajoyê bi zanebûn bikin, ne bi awayekî bêhemdî. [2]

  • Pêşî parçe bike, tenê di dema perwerdeyê de veguherînan li hev bike, rê li ber rijandinê bigire. [2]

  • Pêş-pêvajoya guncaw a modalîteyê bikar bîne (tokenîzator ji bo nivîsê, veguherîner ji bo wêneyan). [3][4]

  • Çewtî/derketina hilberînê bişopînin da ku modela we hêdî hêdî nekeve nav bêwateyiyê. [5]

Û heke hûn qet asê bimînin, ji xwe bipirsin:
"Gelo ev gava pêş-pêvajoyê hîn jî watedar be ger ez sibê li ser daneyên nû bimeşînim?"
Ger bersiv "uhh... dibe ku?" be, ev nîşana we ye 😬

Pirsên Pir tên Pirsîn

Bi gotinên hêsan, pêş-pêvajoya AI çi ye?

Pêş-pêvajoya AI komek gavên dubarekirî ye ku daneyên xav ên bi deng û guherbariya bilind vediguherîne têketinên domdar ku modelek dikare jê fêr bibe. Ew dikare paqijkirin, pejirandin, kodkirina kategoriyan, pîvandina nirxên hejmarî, nîşankirina nivîsê, û sepandina veguherînên wêneyê di nav xwe de bigire. Armanc ew e ku perwerde û texmîna hilberînê "heman celeb" têketinê bibînin, da ku model paşê nekeve nav tevgerên nepêşbînîkirî.

Çima pêş-pêvajoya AI di hilberînê de ewqas girîng e?

Pêş-pêvajoykirin girîng e ji ber ku model ji temsîlkirina têketinê re hesas in. Ger daneyên perwerdehiyê bi awayekî cuda ji daneyên hilberînê werin pîvandin, kodkirin, tokenkirin, an veguheztin, hûn dikarin têkçûnên nelihevhatina perwerde/xizmetê bistînin ku ne li ser înternetê baş xuya dikin lê li ser înternetê bêdeng têk diçin. Xetên pêş-pêvajoykirinê yên bihêz deng kêm dikin, aramiya fêrbûnê baştir dikin, û dubarekirinê leztir dikin ji ber ku hûn spagetîyên defteran ji hev vediqetînin.

Ez çawa dikarim di dema pêş-pêvajoyê de ji rijandina daneyan dûr bisekinim?

Qaîdeyeke hêsan dixebite: her tiştê ku lihevhatinê divê tenê li ser daneyên perwerdeyê were lihevhatin. Ev pîvanker, kodker û tokenîzatorên ku parametreyên wekî navînî, nexşeyên kategoriyê, an ferhengokan fêr dibin dihewîne. Hûn pêşî dabeş dikin, li ser dabeşkirina perwerdeyê bicîh dikin, dûv re bi karanîna veguherînera lihevhatî veguhezînin pejirandin/ceribandinê. Derketin dikare pejirandinê bi awayekî "sihirî" baş xuya bike û dûv re di karanîna hilberînê de hilweşe.

Gavên pêş-pêvajoyê yên herî gelemperî ji bo daneyên tabloyî çi ne?

Ji bo daneyên tabloyî, rêça asayî paqijkirin û pejirandinê (cure, rêz, nirxên wenda), kodkirina kategorîk (yek-germ an rêzkirî), û pîvandina hejmarî (standardîzekirin an kêm-zêde) vedihewîne. Gelek rêç endezyariya taybetmendiyên domain-ajotî yên wekî rêjeyan, pencereyên gêrkirî, an hejmartinan lê zêde dikin. Adetek pratîkî ew e ku komên stûnan bi eşkereyî (hejmarî vs kategorîk vs nasname) werin destnîşankirin da ku veguherînên we domdar bimînin.

Pêş-pêvajokirin ji bo modelên nivîsê çawa dixebite?

Pêş-pêvajoya nivîsê bi gelemperî tê wateya tokenîzasyona bo token/peyvên binî, veguherandina wan bo nasnameyên têketinê, û birêvebirina dagirtin/qutkirinê ji bo komkirinê. Gelek herikên kar ên veguherîner li kêleka nasnameyan maskek baldariyê jî diafirînin. Rêbazek hevpar ew e ku meriv mîhenga tokenîzatorê ya hêvîkirî ya modelê bikar bîne li şûna îmrovîzasyonê, ji ber ku cûdahiyên piçûk di mîhengên tokenîzatorê de dikarin bibin sedema encamên "ew perwerde dibe lê ew bi rengekî nepêşbînîkirî tevdigere".

Çi cûdahî di derbarê pêş-pêvajoya wêneyan de ji bo fêrbûna makîneyê heye?

Pêş-pêvajoya wêneyan bi gelemperî şekil û birêvebirina pîkselan a hevgirtî misoger dike: mezinahî/qutkirin, normalîzekirin, û dabeşkirinek zelal di navbera veguherînên diyarker û bêserûber de. Ji bo nirxandinê, veguherîn divê diyarker bin da ku metrîk berawirdî bin. Ji bo perwerdeyê, zêdekirina bêserûber (wek çandinên bêserûber) dikare domdariyê baştir bike, lê bêserûberî divê bi zanebûn li gorî dabeşkirina perwerdeyê were vehewandin, ne ku bi xeletî di dema nirxandinê de were hiştin.

Çi dike ku boriyeke pêş-pêvajoyê "baş" be li şûna ku nazik be?

Xeta pêş-proseskirinê ya AI-ê ya baş dubarekirî, li dijî rijandinê ewle û çavdêrbar e. Dubarekirî tê wateya ku heman têketin heman deranê çêdike heya ku bêserûberî zêdekirinek bi zanebûn nebe. Ewle li dijî rijandinê tê wateya ku gavên lihevhatinê qet bi pejirandin/ceribandinê ve girêdayî nabin. Çavdêrbar tê wateya ku hûn dikarin statîstîkên wekî windabûn, hejmartinên kategoriyan û belavkirina taybetmendiyan vekolin, ji ber vê yekê debugkirin li ser bingeha delîlan e, ne li ser bingeha hestê. Xeta her carê rêzikên defterên ad-hoc têk dibin.

Ez çawa dikarim perwerde û pêş-pêvajoya encamdanê hevgirtî bihêlim?

Kilît ew e ku di dema texmînkirinê de heman artefaktên fêrbûyî ji nû ve werin bikar anîn: parametreyên pîvanker, nexşeyên kodker, û mîhengên tokenîzer. Her weha hûn peymanek têketinê (stûn, celeb û rêzên bendewar) dixwazin da ku daneyên hilberînê bi bêdengî nekevin nav şeklên nederbasdar. Lihevhatin ne tenê "heman gavan bikin" e - ew "heman gavan bi heman parametre û nexşeyên sazkirî bikin" e

Ez çawa dikarim pirsgirêkên pêş-pêvajoyê yên wekî drift û skew bi demê re bişopînim?

Tew bi boriyeke zexm jî, daneyên hilberînê diguherin. Rêbazeke hevpar ew e ku guhertinên belavkirina taybetmendiyan werin şopandin û li ser xeletiya xizmetkirina perwerdehiyê (hilberîn ji perwerdeyê dûr dikeve) û dûrketina texmînê (guherînên hilberînê bi demê re) hişyarî were dayîn. Çavdêrîkirin dikare sivik be (kontrolên belavkirina bingehîn) an jî birêvebirî be (wekî Çavdêriya Modela AI ya Vertex). Armanc ew e ku guhertinên têketinê zû werin girtin - berî ku ew hêdî hêdî performansa modelê xera bikin.

Referans

[1] scikit-learn API:
sklearn.preprocessing (kodker, pîvanker, normalîzekirin) [2] scikit-learn: Xeletiyên hevpar - Derketina daneyan û çawa jê dûr bikevin
[3] Belgeyên Hugging Face Transformers: Tokenîzer (nasnameyên têketinê, maskeyên baldariyê)
[4] Belgeyên PyTorch Torchvision: Veguherandin (Guhertina Mezinahî/Normalîzekirin + veguherînên bêserûber)
[5] Belgeyên AI yên Google Cloud Vertex: Pêşdîtina Modelê (çewtîbûn û drifta taybetmendiyê)

AI-ya herî dawî li Dikana Alîkarên AI-ya Fermî bibînin

Çûna nava

Vegere blogê