Pêş-pêvajoya AI çi ye?

Pêş-pêvajoya AI çi ye?

Pêş-pêvajoya AI her tiştê ku hûn bi daneyên xav berî (û carinan di dema) perwerde an jî texmînkirinê de dikin e, da ku modelek bi rastî jê fêr bibe. Ne tenê "paqijkirin". Ew paqijkirin, şekildan, pîvandin, kodkirin, zêdekirin û pakkirina daneyan di temsîlek domdar de ye ku dê paşê bi bêdengî modela we nexebitîne. [1]

Gotarên ku hûn dikarin piştî vê yekê bixwînin:

🔗 Meriv çawa modelên AI-ê ji bo performansa cîhana rastîn diceribîne
Rêbazên pratîkî ji bo nirxandina rastbûn, xurtbûn û xeletiyê bi lez.

🔗 Gelo nivîs-bi-axaftinê AI ye û ew çawa dixebite
Bingehên TTS, karanînên mifteyê, û sînorkirinên hevpar ên îroyîn rave dike.

🔗 Gelo AI dikare îro nivîsandina destnivîsê bi awayekî rast bixwîne?
Zehmetiyên naskirinê, amûrên çêtirîn, û serişteyên rastbûnê vedihewîne.

🔗 AI di karên hevpar de çiqas rast e
Faktorên rastbûnê, pîvanan, û pêbaweriya cîhana rastîn parve dike.

Pêş-pêvajoya AI bi zimanekî sade (û çi nîne) 🤝

Pêvajoya pêş-proseskirina AI veguherîna têketinên xav (tablo, nivîs, wêne, tomar) bo taybetmendiyên amade-modelê ye. Ger daneyên xav garajek tevlihev bin, pêvajoya pêş-proseskirinê ew e ku hûn qutiyan nîşan dikin, zibilên şikestî diavêjin, û tiştan li hev dicivînin da ku hûn bi rastî bêyî birîndarî derbas bibin.

Ew ne model bi xwe ye. Ew tiştên ku modelê gengaz dikin in:

  • veguherandina kategoriyan bo hejmaran (yek-germ, rêzkirî, hwd.) [1]

  • pîvandina rêjeyên hejmarî yên mezin bo rêjeyên maqûl (standardkirin, kêmtirîn-zêdetirîn, hwd.) [1]

  • nîşankirina nivîsê bo nasnameyên têketinê (û bi gelemperî maskeke baldariyê) [3]

  • guhertina mezinahî/birrîna wêneyan û sepandina veguherînên diyarker li hember veguherînên rasthatî bi awayekî guncaw [4]

  • avakirina boriyên dubarekirî da ku perwerde û têketinên "jiyana rastîn" bi awayên nazik ji hev cuda nebin [2]

Têbînîyek piçûk a pratîkî: "pêvajoya pêşwext" her tiştê ku berî ku model têketinê bibîne bi berdewamî diqewime . Hin tîm vê yekê dikin "endezyariya taybetmendiyan" û "paqijkirina daneyan", lê di jiyana rast de ew xetên tevlihev dibin.

 

Pêş-pêvajoya AI

Çima pêş-pêvajoya AI ji ya ku mirov qebûl dikin girîngtir e 😬

Modelek hevberkirina qaliban e, ne xwendevanek hişê ye. Ger têketinên we nelihevhatî bin, model qaîdeyên nelihevhatî fêr dibe. Ev ne felsefî ye, ew bi awayekî êşdar rastîn e.

Pêş-pêvajoyê alîkariya we dike:

  • Bi danîna taybetmendiyan di nav temsîlên ku texmînker dikarin bi awayekî pêbawer bikar bînin de (bi taybetî dema ku pîvankirin/kodkirin tê de heye) aramiya fêrbûnê baştir bikin

  • Dengê kêm bike bi nîşandana rastiya tevlihev wekî tiştek ku modelek dikare jê giştî bike (li şûna jiberkirina tiştên ecêb).

  • Modên têkçûna bêdeng ên wekî rijandin û nelihevhatinên perwerde/servîskirinê asteng bikin (cureya ku di pejirandinê de "ecêb" xuya dike û dûv re di hilberînê de rûberû dike). [2]

  • Dubarekirinê bileztir bike ji ber ku veguherînên dubarekirî her roja hefteyê ji spagetîyên defteran çêtir in.

Her wiha, ew der e ku gelek "performansa modelan" bi rastî ji wir tê. Mîna… ecêb e ku gelek. Carinan neheq xuya dike, lê ev rastî ye 🙃

Çi boriyeke pêş-pêvajoya AI-ê ya baş çêdike ✅

"Guhertoyek baş" a pêş-pêvajoyê bi gelemperî xwedî van taybetmendiyan e:

  • Dubarekirin : heman têketin → heman derketin (bê tesadufîyeke sirrî heye heya ku ew zêdekirineke bi mebest nebe).

  • Lihevhatina xizmetkirina perwerdeyê : her tiştê ku hûn di dema perwerdeyê de dikin, di dema texmînkirinê de bi heman awayî tê sepandin (heman parametreyên hatine sazkirin, heman nexşeyên kategoriyê, heman mîhenga tokenîzatorê, hwd.). [2]

  • Ewlehiya rijandinê : tiştek di nirxandin/ceribandinê de bandorê li tu lihevhatinê nake. (Zêdetir li ser vê dafikê di demek kurt de.) [2]

  • Çavdêrîkirî : hûn dikarin venêrin ka çi guheriye (statîstîkên taybetmendiyan, windahî, hejmartinên kategoriyan) ji ber vê yekê debugkirin ne endezyariya li ser bingeha vibes e.

Eger pêş-pêvajoya te komek ji şaneyên defteran be ku jê re final_v7_really_final_ok … tu dizanî ka ew çawa ye. Ew dixebite heta ku ew raweste 😬

Blokên bingehîn ên pêş-pêvajoya AI 🧱

Li pêş-pêvajoyê wek komek blokên avahiyê yên ku hûn wan di boriyekê de bi hev re dikin yek bifikirin.

1) Paqijkirin û piştrastkirin 🧼

Karên tîpîk:

  • dubareyan jê bibe

  • nirxên wenda bi rê ve bibin (berdin, ferz bikin, an jî kêmasiyan bi awayekî eşkere temsîl bikin)

  • cure, yekîne û rêzan bicîh bîne

  • têketinên xelet tespît bike

  • formatên nivîsê standard bike (cîhê spî, qaîdeyên firehkirinê, taybetmendiyên Unicode)

Ev beş ne ​​balkêş e, lê rê li ber xeletiyên pir bêaqil digire. Ez vê bi evîn dibêjim.

2) Kodkirina daneyên kategorîk 🔤

Piraniya modelan nikarin rasterast rêzikên xav ên wekî "red" an "premium_user" .

Rêbazên hevpar:

  • Kodkirina yek-germ (kategorî → stûnên dualî) [1]

  • Kodkirina rêzî (kategorî → ID-ya hejmarî) [1]

Tiştê sereke ne ew e kîjan kodkerê hildibijêrin - ew e ku nexşekirin domdar bimîne û di navbera perwerde û texmînkirinê de "şeklê xwe neguherîne". Bi vî rengî hûn bi modelek diqedin ku ne li ser înternetê baş xuya dike û li ser înternetê wekî nexwestî tevdigere. [2]

3) Pîvankirin û normalîzekirina taybetmendiyan 📏

Pîvankirin girîng e dema ku taybetmendî li ser astên pir cuda ne.

Du klasîk:

  • Standardîzekirin : navînî rakin û guherîna pîvandinê bo yekîneyê biguherînin [1]

  • Pîvana herî kêm-zêde : her taybetmendiyekê di nav rêzek diyarkirî de pîvan bike [1]

Tewra dema ku hûn modelên ku "bi piranî li hev dikin" bikar tînin jî, mezinkirin pir caran fikirîna li ser boriyan hêsantir dike - û şikandina bi xeletî dijwartir dike.

4) Endezyariya Taybetmendiyan (ango xapandina kêrhatî) 🧪

Li vir e ku hûn bi afirandina sînyalên çêtir karê modelê hêsantir dikin:

  • rêjeyên (klîk / nîşandan)

  • pencereyên gerok (N rojên dawî)

  • hejmar (bûyer li gorî bikarhêner)

  • veguherînên log ji bo belavkirinên dûvik-giran

Li vir hunerek heye. Carinan hûn dikarin taybetmendiyekê biafirînin, xwe serbilind hîs bikin… û ew tiştek nake. An jî xerabtir, ew diêşîne. Ev normal e. Bi taybetmendiyan ve girêdayî nebin - ew jî ji we hez nakin 😅

5) Dabeşkirina daneyan bi awayê rast ✂️

Ev eşkere xuya dike heta ku ew nebe:

  • dabeşkirinên rasthatî ji bo daneyên iid

  • dabeşkirinên li ser bingeha demê ji bo rêzenivîsên demê

  • dabeşkirinên komkirî dema ku sazî dubare dibin (bikarhêner, cîhaz, nexweş)

Û ya girîng: berî sazkirina pêş-pêvajoya ku ji daneyan fêr dibe, parçe bike . Ger gava we ya pêş-pêvajoyê parametreyan (wek mînak rêbaz, ferheng, nexşeyên kategoriyan) "fêr bibe", divê ew wan tenê ji perwerdeyê fêr bibe. [2]

Pêş-pêvajoya AI li gorî celebê daneyê: tabloyî, nivîs, wêne 🎛️

Pêvajoya pêş-pêvajoyê li gorî tiştê ku hûn didin modelê şeklê xwe diguhere.

Daneyên tabloyî (spreadsheets, logs, databases) 📊

Gavên hevpar:

  • stratejiya nirxa winda

  • kodkirina kategorîk [1]

  • pîvandina stûnên hejmarî [1]

  • birêvebirina derveyî (qaîdeyên domainê piraniya caran ji "birîna bêserûber" çêtir in)

  • taybetmendiyên wergirtî (komkirin, derengketin, statîstîkên gerok)

Şîreta pratîkî: komên stûnan bi awayekî zelal destnîşan bikin (hejmarî vs kategorîk vs nasname). Ezê we yê pêşerojê dê spasiya we bike.

Daneyên nivîsê (NLP) 📝

Pêvajoya pêş-nivîsê bi gelemperî ev tiştan dihewîne:

  • tokenkirin bo token/peyvên binî

  • veguherîn bo nasnameyên têketinê

  • dagirtin/qutkirin

  • çêkirina maskên baldariyê ji bo komkirinê [3]

Qaydeyek piçûk ku êşê kêm dike: ji bo sazkirinên li ser bingeha transformer, mîhengên tokenîzatorê yên ku ji modelê têne hêvîkirin bişopînin û heta ku sedemek we tune be, freestyle nekin. Freestyle ew e ku hûn çawa bi "ew perwerde dike lê ecêb e" diqedin

Wêne (dîtina komputerê) 🖼️

Pêş-pêvajoya tîpîk:

  • mezinahî biguherîne / bibire bo şeklên yekreng

  • veguherînên diyarker ji bo nirxandinê

  • veguherînên rasthatî ji bo zêdekirina perwerdeyê (mînak, birîna rasthatî) [4]

Hûrgiliyek ku mirov ji bîr dikin: "veguherînên bêserûber" ne tenê hestek in - ew bi rastî her gava ku têne gazîkirin parametreyan nimûne digirin. Ji bo perwerdekirina cûrbecûriyê pir baş e, ji bo nirxandinê pir xirab e heke hûn ji bîr bikin ku bêserûberiyê vemirînin. [4]

Dafika ku her kes tê de dikeve: rijandina daneyan 🕳️🐍

Derketin ew dem e ku agahî ji daneyên nirxandinê bi dizî derbasî perwerdehiyê dibin - pir caran bi rêya pêş-pêvajoyê. Ew dikare modela we di dema pejirandinê de bi efsûnî xuya bike, dûv re jî di cîhana rastîn de we bêhêvî bike.

Şêwazên rijandina hevpar:

  • pîvandin bi karanîna statîstîkên daneyên tevahî (li şûna tenê perwerdehiyê) [2]

  • nexşeyên kategoriyê yên avakirina bi karanîna trên+testê bi hev re [2]

  • her gaveke fit() an fit_transform() ku koma testê "dibîne" [2]

Qanûna sereke (hêsan, hovane, bi bandor):

  • her tiştê ku minasib tenê di dema perwerdeyê de guncaw be.

  • Piştre hûn veguherînê bi karanîna wî transformatorê sazkirî dikin. [2]

Û heke hûn dixwazin "çiqas xirab be?" kontrol bikin: belgeyên scikit-learn bi xwe mînakek rijandinê nîşan didin ku tê de rêza pêş-pêvajoyek xelet rastbûnek li dora 0.76 li ser hedefên rasthatî dide - dûv re piştî ku rijandin hate rastkirin vedigere ~ 0.5 . Bi vî rengî rijandin dikare bi awayekî bawerbar xelet xuya bike. [2]

Bê kaos pêş-pêvajoyê têxin hilberînê 🏗️

Gelek model di hilberînê de têk diçin ne ji ber ku model "xirab" e, lê ji ber ku rastiya têketinê diguhere - an jî xeta we diguhere.

Pêvajoya pêş-pêvajoya hilberînê bi gelemperî ev tiştan dihewîne:

  • Artefaktên tomarkirî (nexşeyên kodker, parametreyên pîvanker, mîhenga tokenîzer) ji ber vê yekê inference heman veguherînên fêrbûyî bikar tîne [2]

  • Peymanên têketinê yên hişk (stûn/cûre/rêze yên çaverêkirî)

  • Çavdêrîkirina ji bo xwarbûn û nelirêtiyê , ji ber ku daneyên hilberînê dê biherikin [5]

Eger hûn pênaseyên berbiçav dixwazin: Çavdêriya Modela AI ya Vertex a Google-ê di navbera skew-ya xizmetkirina perwerdehiyê (belavkirina hilberînê ji perwerdeyê dûr dikeve) û drift-a texmînê (belavkirina hilberînê bi demê re diguhere) de cûda dike, û çavdêrîkirina hem ji bo taybetmendiyên kategorîk û hem jî ji bo taybetmendiyên hejmarî piştgirî dike. [5]

Ji ber ku surprîz biha ne. Û ne yên kêfxê ne.

Tabloya berawirdkirinê: amûrên pêş-pêvajoyê + çavdêriyê yên hevpar (û ew ji bo kê ne) 🧰

Amûr / pirtûkxane Baştirîn ji bo Biha Çima ew dixebite (û piçek dilsozî)
pêş-pêvajoya scikit-fêrbûnê Boriyên ML yên tabloyî Belaş Kodkerên zexm + pîvanker (OneHotEncoder, StandardScaler, hwd.) û tevgera pêşbînîkirî [1]
Tokenîzerên Rûyê Hembêzkirinê Amadekariya têketina NLP Belaş Nasnameyên têketinê + maskên baldariyê bi awayekî domdar li seranserê rêbazan/modelan hildiberîne [3]
torchvision veguherîne Dîtin diguhere + zêde dibe Belaş Rêbazek paqij ji bo tevlihevkirina veguherînên diyarker û rasthatî di yek lûleyê de [4]
Çavdêriya Modela AI ya Vertex Tesbîtkirina drift/çewtîyê di hilberê de Bi pere (ewr) Monîtor nîşan didin ku skew/drift û dema ku sînorên sînor derbas dibin hişyarî didin [5]

(Erê, li ser maseyê hîn jî nêrîn hene. Lê qet nebe ew nêrînên rast in 😅)

Lîsteyek kontrolê ya pêş-pêvajoyê ya pratîkî ku hûn dikarin bi rastî bikar bînin 📌

Berî perwerdeyê

  • Şêweyekî têketinê diyar bike (cure, yekîne, rêzeyên destûrdayî)

  • Nirxên wenda û dubareyên kontrolkirinê

  • Daneyan bi awayê rast parçe bike (rasthatî / li gorî demê / komkirî)

  • Pêş-pêvajoya lihevhatinê tenê di perwerdehiyê ( lihevhatin / fit_transform di perwerdehiyê de dimîne) [2]

  • Berhemanên pêş-pêvajoyê hilînin da ku texmîn bikaribe wan ji nû ve bikar bîne [2]

Di dema perwerdeyê de

  • Zêdekirina rasthatî tenê li cihê guncaw bicîh bîne (bi gelemperî tenê dabeşkirina perwerdeyê) [4]

  • Pêş-pêvajoya nirxandinê diyarker bihêle [4]

  • Guhertinên pêş-pêvajoyê yên wekî guhertinên modelê bişopînin (ji ber ku ew hene)

Berî bicihkirinê

  • Piştrast bike ku texmînkirin rêça pêş-pêvajoyê û artefaktên wekhev bikar tîne [2]

  • Çavdêriya drift/skew saz bike (heta kontrolên belavkirina taybetmendiyên bingehîn jî pir bi bandor in) [5]

Lêkolîneke kûr: şaşiyên pêş-pêvajoyê yên hevpar (û çawa ji wan dûr bikevin) 🧯

Çewtiya 1: "Ez ê zû her tiştî normalîze bikim" 😵

Eger hûn parametreyên pîvandinê li ser tevahiya daneyan hesab bikin, hûn agahdariya nirxandinê derdixin. Li ser trênê bicîh bikin, yên mayî veguherînin. [2]

Çewtiya 2: Kategoriyan ber bi kaosê ve diçin 🧩

Eger nexşerêya kategoriya we di navbera perwerde û texmînkirinê de biguhere, modela we dikare bêdeng cîhanê şaş bixwîne. Nexşeyan bi rêya artefaktên tomarkirî rast bihêlin. [2]

Çewtiya 3: zêdekirina bêserûber dikeve nav nirxandinê 🎲

Veguherînên rasthatî di perwerdeyê de pir baş in, lê dema ku hûn hewl didin performansê bipîvin, divê ew "bi dizî vekirî" nebin. (Random tê wateya rasthatî.) [4]

Têbînîyên Dawî 🧠✨

Pêş-pêvajoya AI hunera dîsîplînkirî ya veguherandina rastiya tevlihev bo têketinên modela domdar e. Ew paqijkirin, kodkirin, pîvankirin, tokenkirin, veguherîna wêneyan, û -ya herî girîng-borî û berhemên ku dubare dibin vedihewîne.

  • Pêş-pêvajoyê bi zanebûn bikin, ne bi awayekî bêhemdî. [2]

  • Pêşî parçe bike, tenê di dema perwerdeyê de veguherînan li hev bike, rê li ber rijandinê bigire. [2]

  • Pêş-pêvajoya guncaw a modalîteyê bikar bîne (tokenîzator ji bo nivîsê, veguherîner ji bo wêneyan). [3][4]

  • Çewtî/derketina hilberînê bişopînin da ku modela we hêdî hêdî nekeve nav bêwateyiyê. [5]

Û heke hûn qet asê bimînin, ji xwe bipirsin:
"Gelo ev gava pêş-pêvajoyê hîn jî watedar be ger ez sibê li ser daneyên nû bimeşînim?"
Ger bersiv "uhh... dibe ku?" be, ev nîşana we ye 😬

Referans

[1] scikit-learn API:
sklearn.preprocessing (kodker, pîvanker, normalîzekirin) [2] scikit-learn: Xeletiyên hevpar - Derketina daneyan û çawa jê dûr bikevin
[3] Belgeyên Hugging Face Transformers: Tokenîzer (nasnameyên têketinê, maskeyên baldariyê)
[4] Belgeyên PyTorch Torchvision: Veguherandin (Guhertina Mezinahî/Normalîzekirin + veguherînên bêserûber)
[5] Belgeyên AI yên Google Cloud Vertex: Pêşdîtina Modelê (çewtîbûn û drifta taybetmendiyê)

AI-ya herî dawî li Dikana Alîkarên AI-ya Fermî bibînin

Çûna nava

Vegere blogê