Eger hûn pergalên fêrbûna makîneyê ava dikin an dinirxînin, hûn ê zû yan dereng rastî heman astengiyê werin: daneyên nîşankirî. Model bi awayekî efsûnî nizanin çi çi ye. Mirov, polîtîka û carinan jî bername neçar in ku wan fêrî wan bikin. Ji ber vê yekê, Nîşankirina Daneyên AI çi ye? Bi kurtasî, ew pratîka zêdekirina wateyê li daneyên xav e da ku algorîtma bikaribin jê fêr bibin…😊
🔗 Etîka AI çi ye?
Pêşdîtinek li ser prensîbên etîkî yên ku pêşkeftin û karanîna berpirsiyar a AI-ê rêber dikin.
🔗 MCP di AI de çi ye?
Protokola kontrola modelê û rola wê di birêvebirina tevgera AI de rave dike.
🔗 AI ya edge çi ye?
Vedigire ka AI çawa daneyan rasterast li ser cîhazên li ser qiraxê pêvajo dike.
🔗 AI-ya ajan çi ye?
Ajansên AI yên xweser ên ku dikarin plansazkirin, hizirkirin û çalakiya serbixwe bikin, pêşkêş dike.
Bi rastî, Etîketkirina Daneyên AI çi ye? 🎯
Etîketkirina daneyên AI pêvajoya girêdana etîket, firehî, qutî, kategoriyan, an nirxandinên ku ji hêla mirovan ve têne fêm kirin li ser têketinên xav ên wekî nivîs, wêne, deng, vîdyo, an rêzenivîsên demî ye da ku model bikaribin qaliban tespît bikin û pêşbîniyan bikin. Li ser qutiyên sînorkirî li dora otomobîlan, etîketên hebûnan li ser mirov û cihan di nivîsê de, an dengên tercîhê bifikirin ku bersiva chatbot-ê ji bo wan bikêrtir xuya dike. Bêyî van etîketan, fêrbûna klasîk a çavdêrîkirî qet dest pê nake.
Her wiha hûn ê etîketên bi navê rastiya erdê an jî daneyên zêrîn : bersivên lihevkirî di bin rêwerzên zelal de, ku ji bo perwerdekirin, pejirandin û venêrîna tevgera modelê têne bikar anîn. Tewra di serdema modelên bingehîn û daneyên sentetîk de jî, setên etîketkirî hîn jî ji bo nirxandin, mîhengkirina baş, tîmên ewlehiyê yên sor, û dozên qiraxa dirêj girîng in - ango, ka modela we çawa li ser tiştên xerîb ên ku bikarhênerên we bi rastî dikin tevdigere. Ne firavîna belaş, tenê amûrên metbexê yên çêtir.
Çi dike ku Etîketkirina Daneyên AI baş be ✅
Bi awayekî zelal: etîketkirina baş bi awayê herî baş bêzar e. Ew pêşbînîkirî, dubarekirî û hinekî zêde belgekirî xuya dike. Li vir çawa xuya dike:
-
Ontolojiyeke teng : koma navkirî ya çînan, taybetmendî û têkiliyên ku hûn girîngiyê didin wan.
-
Talîmatên krîstalê : mînakên xebatkirî, mînakên dijber, rewşên taybet, û qaîdeyên wekheviyê.
-
Xelekên nirxander : cotek çavên duyemîn li ser perçeyek peywirên.
-
Pîvanên lihevhatinê : lihevhatina di navbera şîrovekaran de (mînak, κ ya Cohen, α ya Krippendorff) ji ber vê yekê hûn lihevhatinê dipîvin, ne vibeyan. α bi taybetî kêrhatî ye dema ku etîket winda ne an jî gelek şîrovekar tiştên cûda vedihewînin [1].
-
Baxçevaniya qiraxa merdivan : bi rêkûpêk mîrate yên xerîb, dijber, an tenê kêm tên berhevkirin.
-
Kontrolkirina xeletiyan : çavkaniyên daneyên denetimê, demografî, herêm, zarava, şert û mercên ronahîkirinê û hwd.
-
Jêderk û nepenî : şopandina ji ku derê daneyan hatine, mafên karanîna wan, û çawa PII tê rêvebirin (çi wekî PII tê hesibandin, hûn çawa wê dabeş dikin, û parastin) [5].
-
Nirxandin li ser perwerdeyê : etîket di goristana tabloyên hesaban de najîn - ew vedigerin ser fêrbûna çalak, sererastkirin û nirxandinan.
Li xwe mikurhatinek biçûk: hûn ê rêbernameyên xwe çend caran ji nû ve binivîsin. Ev normal e. Mîna biharatkirina şorbeyekê, guhertinek piçûk jî pir bi kêr tê.
Çîrokeke kurt: tîmekê vebijarkek "nikarim biryar bidim-polîtîkayek pêwîst e" li UI-ya xwe zêde kir. Lihevkirin zêde bû ji ber ku şîrovekaran dev ji texmînan berda, û qeyda biryaran di şevekê de zelaltir bû. Serketinên bêzar.
Tabloya berawirdkirinê: amûrên ji bo nîşankirina daneyên AI 🔧
Ne temam e, û erê, gotin bi zanebûn hinekî tevlihev e. Guhertinên bihayê - her gav berî budçekirinê li ser malperên firoşkaran piştrast bikin.
| Hacet | Baştirîn ji bo | Şêwaza bihayê (nîşanî) | Çima ew dixebite |
|---|---|---|---|
| Qutiya Etîketan | Pargîdanî, CV + tevliheviya NLP | Asta belaş, li ser bingeha karanînê | Herikînên kar, ontolojî û metrîkên QA-yê yên baş; pîvandinê pir baş birêve dibe. |
| Rastiya Erdê ya AWS SageMaker | Rêxistinên navendî yên AWS, boriyên HITL | Ji bo her peywirê + karanîna AWS | Bi xizmetên AWS-ê re, vebijarkên mirovî-di-çerxê de, çengelên infra yên bihêz ve girêdayî ye. |
| Pîvana AI | Karên tevlihev, hêza kar a birêvebirî | Pêşniyara xwerû, qatqatî | Xizmetên destdana bilind û amûr; operasyonên bihêz ji bo dozên qiraxên dijwar. |
| SuperAnnotate | Tîmên ku vîzyonê diparêzin, û şîrketên nû | Astan, ceribandina belaş | UI-ya polîşkirî, hevkarî, amûrên alîkar ên bi alîkariya modelê. |
| Prodigy | Pêşdebirên ku dixwazin kontrola herêmî | Lîsansa jiyanî, ji bo her kursiyê | Skriptkirin, lûpên bilez, reçeteyên bilez - li herêmî dimeşe; ji bo NLP pir baş e. |
| Doccano | Projeyên NLP-ya çavkaniya vekirî | Belaş, çavkaniya vekirî | Ji hêla civakê ve tê rêvebirin, bicihkirina wê hêsan e, ji bo xebata dabeşkirin û rêzkirinê baş e |
Kontrolkirina rastiyê li ser modelên bihayê : firoşkar yekîneyên xerckirinê, xercên her karekî, astan, pêşniyarên pargîdaniyê yên xwerû, lîsansên yek-carî, û çavkaniya vekirî tevlihev dikin. Polîtîka diguherin; berî ku kirîn hejmaran di tabloyek hesaban de bicîh bike, taybetmendiyan rasterast bi belgeyên firoşkar re piştrast bikin.
Cureyên etîketên hevpar, bi wêneyên zû yên hişê 🧠
-
Dabeşkirina Wêneyê : etîketên yek an jî pir-etîket ji bo tevahiya wêneyekê.
-
Tesbîtkirina tiştan : qutiyên sînordarkirin an jî qutiyên zivirî yên li dora tiştan.
-
Dabeşkirin : mînaka maskeyên asta pîkselê an semantîk; dema ku paqij be bi awayekî ecêb têrker e.
-
Xalên sereke û pozîsyon : nîşanên wekî movikan an xalên rû.
-
NLP : etîketên belgeyan, qadên ji bo saziyên bi navkirî, têkilî, girêdanên hevreferansê, taybetmendî.
-
Deng û axaftin : transkrîpsiyon, rojnivîska axaftvan, etîketên niyetê, bûyerên akustîk.
-
Vîdyo : qutî an şopên li gorî çarçovê, bûyerên demkî, etîketên çalakiyê.
-
Rêze û sensorên demî : bûyerên pencereyî, anomalîyan, rejîmên trendê.
-
Herikînên xebatê yên hilberîner : rêzkirina tercîhan, alên sor ên ewlehiyê, xala rastîniyê, nirxandina li ser bingeha rubrîkê.
-
Lêgerîn & RAG : têkiliya query-belge, bersivdayîn, xeletiyên vegerandinê.
Eger wêneyek pîzza be, beşkirin bi awayekî bêkêmasî birîna her perçeyî ye, lê tespîtkirin nîşan dide û dibêje ku perçeyek heye… li derekê li wir.
Anatomiya herikîna kar: ji kurt heta daneyên zêrîn 🧩
Xêzek nîşankirinê ya bihêz bi gelemperî vê şeklê dişopîne:
-
Ontolojiyê pênase bike : çîn, taybetmendî, têkilî, û nezelaliyên destûrdayî.
-
Rêbernameyên pêşnûmeyê : mînak, rewşên kêlekê, û mînakên dijber ên dijwar.
-
Komeke pîlot nîşan bike : çend sed mînakan şîrove bike da ku qulan bibîne.
-
Lihevhatina pîvanê : κ/α hesab bike; talîmatan sererast bike heta ku şîrovekar li hev bicivin [1].
-
Sêwirana QA : dengdana lihevkirî, biryardan, nirxandina hiyerarşîk, û kontrolên cihê.
-
Qadên hilberînê : çavdêriya hilberînê, kalîteyê û guherînê.
-
Çerxê bigire : rubrîkan ji nû ve perwerde bike, ji nû ve nimûne bigire, û li gorî pêşveçûna model û hilberê, nûve bike.
Serişteyek ku hûn ê paşê ji xwe re spas bikin: qeydek biryarên sedema wê binivîsin . Pêşeroj - hûn ê çarçoveyê ji bîr bikin. Pêşeroj - hûn ê li ser vê yekê poşman bibin.
Çavdêriya qels, çavdêriya mirovî, û hişmendiya "zêdetir etîket, kêmtir klîk" 🧑💻🤝
Mirov-di-çerxê de (HITL) tê wateya ku mirov bi modelan re di perwerdehiyê, nirxandinê, an operasyonên zindî de hevkariyê dikin - pêşniyarên modelê piştrast dikin, rast dikin, an jî dûr dikevin. Wê bikar bînin da ku lezê zêde bikin di heman demê de ku mirov berpirsiyarê kalîte û ewlehiyê ne. HITL pratîkek bingehîn e di nav rêveberiya rîska AI ya pêbawer de (çavdêriya mirovan, belgekirin, çavdêrîkirin) [2].
Çavdêriya qels hîleyek cuda lê temamker e: qaîdeyên bernamekirî, heurîstîk, çavdêriya dûr, an çavkaniyên din ên dengdar etîketên demkî di pîvanê de çêdikin, dûv re hûn wan bê deng dikin. Bernamekirina Daneyan tevlihevkirina gelek çavkaniyên etîketên dengdar (ango fonksiyonên etîketkirinê ) û fêrbûna rastbûna wan da ku komek perwerdehiyê ya bi kalîteya bilindtir hilberîne populer kir [3].
Di pratîkê de, tîmên leza bilind her sêyan tevlihev dikin: etîketên destan ji bo setên zêr, çavdêriya qels ji bo destpêkirina xebatê, û HITL ji bo lezandina karê rojane. Ew ne xapandin e. Ew huner e.
Fêrbûna çalak: tiştê çêtirîn ê din hilbijêre ku lê were nîşankirin 🎯📈
Fêrbûna çalak herikîna asayî diguherîne. Li şûna nimûnegirtina rasthatî ya daneyan ji bo etîketkirinê, hûn dihêlin ku model mînakên herî agahdar bixwaze: nezelaliya bilind, nerazîbûna bilind, nûnerên cihêreng, an xalên nêzîkî sînorê biryarê. Bi nimûnegirtina baş, hûn bermahiyên etîketkirinê kêm dikin û li ser bandorê disekinin. Anketên nûjen ên ku fêrbûna çalak a kûr vedihewînin, performansek xurt bi etîketên kêmtir radigihînin dema ku çerxa oracle baş hatî çêkirin [4].
Reçeteyek bingehîn ku hûn dikarin pê dest pê bikin, bê drama:
-
Li ser komek tovên piçûk perwerde bikin.
-
Gola bê nîşankirin xal bike.
-
Li gorî nezelalî an jî lihevnekirina modelê, K-ya jorîn hilbijêrin.
-
Etîket bike. Ji nû ve perwerde bike. Di komên piçûk de dubare bike.
-
Li xêzên pejirandinê û metrîkên peymanê temaşe bikin da ku hûn li dû deng nekevin.
Hûn ê bizanin ku ew dixebite dema ku modela we bêyî ku fatûreya etîketkirina mehane ya we duqat bibe baştir bibe.
Kontrola kalîteyê ku bi rastî dixebite 🧪
Pêwîst nake hûn okyanûsê bikelînin. Armanc ji van kontrolên jêrîn bikin:
-
Pirsên zêrîn : tiştên naskirî derzî bikin û rastbûna her-etîketkerê bişopînin.
-
Lihevkirin bi biryardayînê : du etîketên serbixwe û nirxînerek li ser nakokiyan.
-
Lihevkirina di navbera şîrovekaran de : dema ku gelek şîrovekar an etîketên netemam hebin, α bikar bînin, ji bo cotan jî κ; li ser yek eşikê nesekinin - girîngiya çarçovê heye [1].
-
Guherandinên rêbernameyan : şaşiyên dubare bi gelemperî rêwerzên nezelal in, ne şîrovekarên xirab.
-
Kontrolên driftê : belavkirina etîketan li seranserê dem, erdnîgarî, û kanalên têketinê berawird bike.
Heke hûn tenê yek pîvanê hilbijêrin, lihevkirinek hilbijêrin. Ew nîşanek tenduristiyê ya bilez e. Metaforek hinekî xelet: heke etîketkerên we ne li hev rêzkirî bin, modela we li ser tekerên lerzok dixebite.
Modelên hêza kar: navxweyî, BPO, girseyê, an hîbrîd 👥
-
Navxweyî : ji bo daneyên hesas, warên nuwaze, û fêrbûna bilez a fonksiyonên navber-alî çêtirîn e.
-
Firoşkarên pispor : hilberîneke domdar, QA ya perwerdekirî, û berfirehî li seranserê herêmên demê.
-
Crowdsourcing : ji bo her peywirekê erzan e, lê hûn ê hewceyê zêrên bihêz û kontrola spamê bin.
-
Hîbrîd : tîmek pispor a bingehîn biparêze û bi kapasîteya derveyî teqiya.
Çi hilbijêrî bila bibe, li ser destpêkirina lîstikan, perwerdehiya rêbernameyan, tûrên kalibrkirinê û nirxandinên dubare veberhênanê bike. Etîketên erzan ên ku sê derbasbûnên ji nû ve etîketkirinê ferz dikin ne erzan in.
Mesref, dem, û ROI: kontrolkirineke bilez a rastiyê 💸⏱️
Mesref li gorî hêza kar, platform û QA têne dabeş kirin. Ji bo plansaziyek xav, nexşeya xeta xwe wiha nîşan bidin:
-
Hedefa hilberînê : tişt di rojê de ji bo her etîketker × etîketker.
-
Serbarê QA : % du caran hatiye nîşankirin an jî hatiye nirxandin.
-
Rêjeya ji nû ve xebatê : budçeya ji bo ji nû ve şîrovekirinê piştî nûvekirina rêbernameyê.
-
Bilindkirina otomasyonê : pêş-etîketên bi alîkariya modelê an qaîdeyên bernamekirî dikarin hewldana destan bi perçeyek watedar (ne efsûnî, lê watedar) kêm bikin.
Ger kirîn hejmarekê bixwaze, modelek bidin wan - ne texmînek - û dema ku rêbernameyên we aram dibin wê nûve bikin.
Xefikên ku hûn ê herî kêm carekê rastî wan werin, û çawa ji wan dûr bisekinin 🪤
-
Zêdebûna rênimayan : rênimayên rêberiyê vediguherin çîrokeke nû. Bi darên biryarê + mînakên hêsan rast bikin.
-
Zêdebûna polê : pir zêde polên bi sînorên nezelal. "Yên din" ên hişk bi siyasetê re bikin yek an jî pênase bikin.
-
Zêde-indekskirina lezê : etîketên bilez bi bêdengî daneyên perwerdeyê jehrî dikin. Zêran têxin; rêjeya herî xirab a xêzan sînordar bikin.
-
Qefilandina amûrê : biteqeya formatên hinardekirinê. Di destpêkê de li ser şêmayên JSONL û nasnameyên babetên idempotent biryar bidin.
-
Paşguhkirina nirxandinê : heke hûn pêşî komek nirxandinan nîşan nekin, hûn ê qet ne piştrast bin ka çi çêtir bûye.
Bila rast be, tu ê carinan paşve biçî. Baş e. Hîle ew e ku paşveçûn were nivîsandin da ku cara din bi qestî be.
Pirsên Pir tên Pirsîn ên Biçûk: bersivên bilez û rastgo 🙋♀️
P: Etîketkirin li hember şîrovekirin - gelo ew ji hev cuda ne?
A: Di pratîkê de mirov wan bi hev re bikar tînin. Şîrovekirin çalakiya nîşankirin an etîketkirinê ye. Etîketkirin pir caran hişmendiyek rastiya bingehîn bi QA û rêbernameyan nîşan dide. Kartol, kartol.
P: Ma ez dikarim bi saya daneyên sentetîk an çavdêriya xwe-xwe etîketkirinê derbas bikim?
A: Hûn dikarin kêm bikin , ne ku derbas bikin. Hûn hîn jî ji bo nirxandin, parastin, sererastkirin û tevgerên taybetî yên hilberê hewceyê daneyên etîketkirî ne. Çavdêriya qels dikare we bilind bike dema ku tenê etîketkirina bi destan têrê nake [3].
P: Ger nirxanderên min pispor bin, gelo hîn jî pêdivîya min bi pîvanên kalîteyê heye?
A: Belê. Pispor jî ne li hev in. Ji bo dîtina pênaseyên nezelal û çînên nezelal, pîvanên lihevhatinê (κ/α) bikar bînin, dûv re ontolojî an qaîdeyan teng bikin [1].
P: Gelo têkiliya mirovan tenê bi kirrûbirrê re heye?
A: Na. Ew qalibek pratîkî ye ku tê de mirov tevgera modelê rêberî, rastkirin û nirxandinê dikin. Di pratîkên rêveberiya rîska AI-ya pêbawer de tê pêşniyar kirin [2].
P: Ez çawa dikarim pêşanî bidim ka çi paşê were etîketkirin?
A: Bi fêrbûna çalak dest pê bikin: nimûneyên herî nezelal an cihêreng bigirin da ku her etîketek nû pêşveçûna herî zêde ya modelê bide we [4].
Têbînîyên meydanî: tiştên piçûk ku ferqek mezin çêdikin ✍️
-
taksonomiyê ya zindî bihêle . Wek kodê bihesibîne.
-
berî û piştî tomar bikin .
-
Komek zêrîn a piçûk û bêkêmasî ava bike û wê ji qirêjbûnê biparêze.
-
Danişînên kalibrkirinê bizivirînin : 10 tiştan nîşan bidin, bi bêdengî etîket bikin, bidin ber hev, nîqaş bikin, rêzikan nûve bikin.
-
Analîtîkên etîketkerê şopandinê - panelên kontrolê yên bi hêz, bê şerm. Hûn ê derfetên perwerdeyê bibînin, ne xeraban.
-
Pêşniyarên bi alîkariya modelê lê zêde bikin . Ger pêş-etîket xelet bin, ew mirovan hêdî dikin. Ger ew pir caran rast bin, ew sêrbazî ye.
Gotinên dawî: etîket bîra berhema we ne 🧩💡
Etîketkirina Daneyên AI di bingeha xwe de çi ye? Ew rêbaza we ye ku hûn biryar bidin ka model divê çawa cîhanê bibîne, biryarek bi baldarî di carekê de. Baş bikin û her tişt li jêr hêsantir dibe: rastbûnek çêtir, paşveçûnên kêmtir, nîqaşên zelaltir li ser ewlehî û alîgirtinê, şandina nermtir. Bi bêserûber bikin û hûn ê her bipirsin çima model xelet tevdigere - dema ku bersiv di daneyên we de rûniştiye û etîketa navê xelet li xwe kiriye. Ne her tişt hewceyê tîmek mezin an nermalava xweşik e - lê her tişt hewceyê lênêrînê ye.
Pir dirêj bû min ew nexwend : veberhênanê li ontolojiyek zelal bike, qaîdeyên zelal binivîse, lihevhatinê bipîve, etîketên destanî û bernamekirî tevlihev bike, û bihêle ku fêrbûna çalak tiştê çêtirîn ê din ji bo we hilbijêre. Dûv re dubare bike. Dîsa. Û dîsa… û bi awayekî ecêb, hûn ê jê kêfê bistînin. 😄
Referans
[1] Artstein, R., & Poesio, M. (2008). Peymana Nav-Kodker ji bo Zimannasiya Hesabkerî . Zimannasiya Hesabkerî, 34(4), 555–596. (Κ/α û çawaniya şîrovekirina peymanê, tevî daneyên winda, vedihewîne.)
PDF
[2] NIST (2023). Çarçoveya Rêvebirina Rîska Zekaya Sûni (AI RMF 1.0) . (Çavdêriya mirovan, belgekirin û kontrolên rîskê ji bo AI-ya pêbawer.)
PDF
[3] Ratner, AJ, De Sa, C., Wu, S., Selsam, D., & Ré, C. (2016). Bernamekirina Daneyan: Afirandina Setên Perwerdehiyê yên Mezin, Bi Zû . NeurIPS. (Nêzîkatiya bingehîn ji bo çavdêriya qels û rakirina etîketên dengdar.)
PDF
[4] Li, D., Wang, Z., Chen, Y., û yên din. (2024). Lêkolînek li ser Fêrbûna Aktîf a Kûr: Pêşketinên Dawî û Sînorên Nû . (Delîl û qalibên ji bo fêrbûna çalak a bi bandor a etîketan.)
PDF
[5] NIST (2010). SP 800-122: Rêbernameya Parastina Nehêniya Agahiyên Kesane yên Nasnamekirî (PII) . (Çi wekî PII tê hesibandin û meriv çawa di rêça daneyên xwe de wê diparêze.)
PDF