AI çawa anomalîyan tespît dike?

AI çawa anomalîyan tespît dike?

Tesbîtkirina anomalîyan lehengê bêdeng ê operasyonên daneyan e - alarma dûmanê ku berî ku tişt agir bigirin bi dengekî nizm diaxive.

Bi gotineke sade: AI fêr dibe ka "normal-mînak" çawa xuya dike, ji bûyerên nû re puanek anomalî eşikê biryar dide ka mirovekî rûpel bike (an tiştê bixweber asteng bike) . Pirsgirêk di wê de ye ku hûn çawa "normal-mînak" pênase dikin dema ku daneyên we demsalî, tevlihev, guherbar in, û carinan derewan li we dikin. [1]

Gotarên ku hûn dikarin piştî vê yekê bixwînin:

🔗 Çima AI dikare ji bo civakê zirardar be
Xetereyên exlaqî, aborî û civakî yên pejirandina berfireh a AI vedikole.

🔗 Bi rastî pergalên AI çiqas avê bikar tînin
Sarkirina navenda daneyan, hewcedariyên perwerdeyê û bandora avê ya li ser jîngehê rave dike.

🔗 Setek daneya AI çi ye û çima girîng e
Setên daneyan, etîketkirin, çavkanî û rola wan di performansa modelê de destnîşan dike.

🔗 Çawa AI ji daneyên tevlihev trendan pêşbînî dike
Naskirina qaliban, modelên fêrbûna makîneyê, û karanînên pêşbîniya cîhana rastîn vedihewîne.

"AI çawa anomalîyan tespît dike?" 

Bersiveke baş divê ji navnîşkirina algorîtmayan bêtir tiştan bike. Divê ew mekanîka wan û çawaniya wan rave bike dema ku hûn wan li ser daneyên rastîn û ne temam bikar tînin. Şirovekirinên herî baş:

  • Pêkhateyên bingehîn nîşan bide: taybetmendî , xalên bingehîn , puan û eşik . [1]

  • Malbatên pratîkî yên berevajî: dûrî, dendik, yek-sınıf, îzolekirin, îhtimalî, ji nû ve avakirin. [1]

  • Taybetmendiyên rêzenivîsên demî bi rê ve bibin: "asayî" bi demjimêra rojê, roja hefteyê, weşan û betlaneyan ve girêdayî ye. [1]

  • Nirxandinê wek sînorkirinek rastîn bihesibînin: alarmên derewîn ne tenê acizker in - ew baweriyê dişewitînin. [4]

  • Şîrovekirin + mirov-di-çerxê de têxe nav xwe, ji ber ku "ev ecêb e" ne sedemek bingehîn e. [5]

Mekanîka Sereke: Xetên Bingehîn, Pûan, Asta Bilind 🧠

Piraniya sîstemên anomalîyê - xeyalî an ne xeyalî - dadikevin sê beşên tevgerbar:

1) Nûneratî (ango: tiştê ku model dibîne )

Sînyalên xav kêm caran têrê dikin. Hûn an taybetmendiyan endezyar dikin (statîstîkên gerok, rêjeyên, derengmayîn, deltayên demsalî) an jî temsîlan fêr dibin (bicîhkirin, bincîh, ji nû ve avakirin). [1]

2) Pûandan (ango: ev çiqas "ecêb" e?)

Fikirên notdayînê yên hevpar ev in:

  • Li ser bingeha dûrbûnê : dûrî cîranan = gumanbar. [1]

  • Li ser bingeha dendikê : dendika herêmî ya nizm = gumanbar (LOF zaroka posterê ye). [1]

  • Sînorên yek-polî : "normal" fêr bibin, tiştê ku li derveyî ye nîşan bikin. [1]

  • Îhtîmalî : îhtîmala kêm di bin modelek guncaw de = gumanbar. [1]

  • Çewtiya ji nû ve avakirinê : eger modelek ku li ser rewşa normal hatiye perwerdekirin nikaribe wê ji nû ve ava bike, dibe ku ew xelet be. [1]

3) Asta Sînorkirinê (ango: kengê zengil lê bidin)

Asta sînor dikarin sabît, li gorî hejmarên diyarkirî, li gorî her beşê, an jî li gorî lêçûnê bin - lê divê ew li gorî budçeyên hişyariyê û lêçûnên paşîn werin pîvandin , ne li gorî vibransan. [4]

Hûrguliyek pir pratîkî: detektorên nûbûn/derketinê yên scikit-learn puanên xav û dûv re astekê (ku pir caran bi rêya texmînek şêwaza kontaminasyonê tê kontrol kirin) bicîh tînin da ku puanan veguherînin biryarên hundirîn/derketinê. [2]

Pênasînên Bilez ên ku êşa paşê asteng dikin 🧯

Du cudahîyên ku we ji xeletîyên nazik diparêzin:

  • Tesbîtkirina nirxên derveyî : dibe ku daneyên we yên perwerdehiyê jixwe nirxên derveyî jî dihewînin; algorîtma bi her awayî hewl dide ku "herêma normal a qelew" model bike.

  • Tesbîtkirina nûbûnê : daneyên perwerdeyê wekî paqij têne hesibandin; hûn nirxandinê dikin ka nû li gorî qaliba normal a fêrbûyî ne. [2]

dabeşkirina yek-polî tê çarçovekirin - modelkirina normal ji ber ku mînakên anormal kêm in an jî nayên pênasekirin. [1]

 

Anomaliyên AI-ê Çewt dibin

Hespên Kar ên Bêçavdêrî Ku Hûn ê Bi Rastî Bikar Bînin 🧰

Dema ku etîket kêm in (ku bi bingehîn her gav e), ev amûr in ku di boriyên rastîn de xuya dibin:

  • Daristana Tecrîdê : di gelek rewşên tabloyî de xwerûyek xurt e, bi berfirehî di pratîkê de tê bikar anîn û di scikit-learn de tê bicîh kirin. [2]

  • SVM-ya Yek-Pilan : dikare bibandor be lê li hember mîhengkirin û texmînan hesas e; scikit-learn bi eşkereyî hewcedariya mîhengkirina hîperparametreyê ya bi baldarî destnîşan dike. [2]

  • Faktora Derveyî ya Herêmî (LOF) : pîwana klasîk a li ser bingeha dendikê; pir baş e dema ku "normal" ne lekeyek xweşik be. [1]

Tîmên pratîkî heftane ji nû ve kifş dikin: LOF li gorî ka hûn tespîtkirina derveyî li ser seta perwerdehiyê dikin an tespîtkirina nûbûnê li ser daneyên nû, bi awayên cûda tevdigere - scikit-learn heta ji bo bidestxistina xalên nedîtî yên bi ewlehî hewceyî nûbûn=Rast e . [2]

Xêzeke bingehîn a bihêz ku dema daneyên nebaş jî dixebitin 🪓

Eger hûn di moda "em tenê tiştek hewce dikin ku me nexe nav jibîrkirinê" de bin, statîstîkên xurt kêm têne nirxandin.

Z -skora guhertî medyan û MAD (devîasyona mutleq a navîn) bikar tîne . Pirtûka destan a EDA ya NIST-ê forma z-skora guhertî belge dike û qaîdeyek "derketina potansiyel" a ku bi gelemperî tê bikar anîn di nirxek mutleq a li jor 3.5 . [3]

Ev yek hemû pirsgirêkên anomalîyan çareser nake - lê ew pir caran xeta yekem a parastinê ya bihêz e, nemaze ji bo metrîkên bi deng û çavdêriya qonaxa destpêkê. [3]

Rastiya Rêzeya Demê: "Asayî" bi Kengê ve girêdayî ye ⏱️📈

Anomalîyên rêzenivîsên demî dijwar in ji ber ku hemû mijar çarçove ye: dibe ku li bendê bin ku di nîvro de zêdebûnek çêbibe; heman zêdebûn di saet 3ê sibê de dibe ku tê vê wateyê ku tiştek dişewite. Ji ber vê yekê gelek pergalên pratîkî normalbûnê bi karanîna taybetmendiyên ku ji demê haydar in (lag, deltayên demsalî, pencereyên gêrkirî) model dikin û guherînên li gorî qaliba hêvîkirî dinirxînin. [1]

Heke hûn tenê yek qaîdeyê bi bîr tînin: xeta xwe ya bingehîn (saet/roj/herêm/asta xizmetê) parçe bikin. [1]

Nirxandin: Dafika Bûyerên Kêm 🧪

Tesbîtkirina anomalîyan pir caran wekî "derziyek di nav giyayê de" tê hesibandin, ku ev jî nirxandinê ecêb dike:

  • Dema ku aliyên erênî kêm bin, xêzên ROC dikarin bi awayekî xapînok baş xuya bikin.

  • Dîtinên bîranîna rast pir caran ji bo mîhengên nehevseng bêtir agahdar in ji ber ku ew li ser performansa li ser çîna erênî disekinin. [4]

  • Ji hêla operasyonel ve, hûn hewceyê budçeyek hişyariyê : mirov dikarin di saetekê de çend hişyariyan bêyî ku hêrsê bişkînin, bi rastî tespît bikin? [4]

Ceribandina paşve li seranserê pencereyên gerok alîkariya we dike ku hûn moda têkçûna klasîk bigirin: "ew bi rengek xweşik dixebite ... li ser belavkirina meha borî." [1]

Şîrovekirin û Sedema Bingehîn: Karê Xwe Nîşan Bide 🪄

Hişyarkirin bêyî ravekirinek mîna wergirtina kartpostaleke sirrî ye. Bikêrhatî ye, lê acizker e.

Amûrên şîrovekirinê dikarin bi nîşandana taybetmendiyên ku herî zêde beşdarî puana anomaliyê bûne, an jî bi dayîna ravekirinên şêwaza "ji bo ku ev normal xuya bike çi divê biguhere?" bibin alîkar. Fêrbûna Makîneyê ya Şîrovekirî rêbernameyek xurt û rexnegir e ji bo rêbazên hevpar (di nav de taybetmendiyên bi şêwaza SHAP) û sînorkirinên wan. [5]

Armanc ne tenê rehetiya beşdaran e - ew triyajek bileztir û bûyerên dubare kêmtir e.

Bicîhkirin, Çewtandin, û Xelekên Bersivdanê 🚀

Model di slaytan de najîn. Ew di boriyan de dijîn.

Çîrokeke hevpar a "meha yekem di hilberînê de": detektor bi piranî flagên bicihkirinê, karên komî, û daneyên winda nîşan dide… ku hîn jî kêrhatî ji ber ku ew we neçar dike ku "bûyerên kalîteya daneyan" ji "anomalîyên karsaziyê" veqetînin.

Di pratîkê de:

  • Çewtiya çavdêrî bike û dema ku tevger diguhere ji nû ve perwerde bike/ji nû ve kalîbre bike. [1]

  • Têketinên puanan + guhertoya modelê tomar bike da ku tu bikaribî sedema rûpelkirina tiştekî ji nû ve bidî. [5]

  • Ji bo mîhengkirina eşik û beşan bi demê re, bersivên mirovan tomar bike

Goşeya Ewlehiyê: IDS û Analîtîkên Reftarî 🛡️

Tîmên ewlehiyê gelek caran ramanên anomaliyan bi tespîtkirina li ser bingeha qaîdeyan re tevlihev dikin: bingehên ji bo "tevgera mêvandar a normal", û her weha îmze û polîtîkayên ji bo qalibên xirab ên naskirî. SP 800-94 (Dawî) ya NIST-ê hîn jî çarçoveyek berfireh ji bo nirxandinên pergalên tespîtkirin û pêşîlêgirtina destwerdanê ye; ew her weha destnîşan dike ku pêşnûmeyek "Rev. 1" a 2012-an qet ne dawî bû û paşê hate teqawid kirin. [3]

Werger: li cihê ku dibe alîkar ML bikar bînin, lê qaîdeyên bêzar neavêjin - ew bêzar in ji ber ku ew dixebitin.

Tabloya Berawirdkirinê: Rêbazên Populer bi Kurtekî 📊

Amûr / Rêbaz Baştirîn Ji Bo Çima ew dixebite (di pratîkê de)
Z-pûanên xurt / guhertî Metrîkên hêsan, bingehên bilez Dema ku hûn hewceyê "têra xwe baş" bin, derbasbûna yekem a bihêz û kêmtir alarmên derewîn. [3]
Daristana Tecrîdê Taybetmendiyên tabloyî, tevlihev Pêkanîna xwerû ya zexm û bi berfirehî di pratîkê de tê bikar anîn. [2]
SVM-ya Yek-Pilî Herêmên "normal" ên kompakt Tesbîtkirina nûbûnê li ser bingeha sînor; mîhengkirin pir girîng e. [2]
Faktora Derveyî ya Herêmî Normalên mîna piralî Berevajiya dendikê li gorî cîranan xerîbiya herêmî nîşan dide. [1]
Çewtiya ji nû ve avakirinê (mînak, şêwaza otoencoder) Şablonên bilind-alî Perwerde li ser rewşa normal be; şaşiyên mezin ên ji nû ve avakirinê dikarin nîşana nelirêtiyan bidin. [1]

Koda xapandinê: bi xalên bingehîn ên zexm + rêbazek bêzar a bêçavdêrî dest pê bikin, dûv re tevliheviyê tenê li cihê ku ew kirê dide zêde bikin.

Pirtûkek Biçûk: Ji Sifirê Ber Bi Hişyariyan 🧭

  1. "Ecêb" ji hêla operasyonel ve pênase bike (latensiyet, xetera sextekarîyê, şikestina CPUyê, xetera envanterê).

  2. Bi bingehekê dest pê bike (statîstîkên xurt an jî sînorên parçekirî). [3]

  3. Modelek bêçavdêrî wekî derbasbûna yekem hilbijêre (Daristana Tecrîdê / LOF / SVM-ya Yek-Sınıfê). [2]

  4. Bi budçeyek hişyariyê re eşikan destnîşan bikin , û heke erênî kêm bin bi ramana bi şêwaza PR binirxînin. [4]

  5. Ji bo ku her hişyarî dubarekirin û sererastkirin gengaz be, şirovekirin + tomarkirin lê zêde bikin

  6. Testa paşvegerandinê, şandin, fêrbûn, ji nû ve kalibrkirin - drift normal e. [1]

Bê guman tu dikarî vê di hefteyekê de bikî… bi şertê ku mohrên demê yên te bi banta lûleyî û hêviyê nehatibin girêdan. 😅

Gotinên Dawî - Pir Dirêj e, Min Nexwend🧾

AI bi fêrbûna wêneyek pratîkî ya "normal", nirxandina xeletiyan, û nîşankirina tiştên ku ji astekê derbas dibin, anomalîyan tespît dike. Sîstemên çêtirîn ne bi eşkerebûnê, lê bi kalibrkirinê : xetên bingehîn ên perçekirî, budçeyên hişyariyê, derketinên şîrovekirî, û çerxek bersivê ku alarmên bi deng vediguherîne sînyalek pêbawer. [1]

Referans

  1. Pimentel û yên din (2014) - Nirxandinek li ser tespîtkirina nûbûnê (PDF, Zanîngeha Oxfordê) bêtir bixwînin

  2. Belgekirina scikit-learn - Tesbîtkirina Nûbûn û Derketinê bêtir bixwînin

  3. Pirtûka elektronîkî ya NIST/SEMATECH - Tesbîtkirina Nirxên Derveyî bêtir bixwînin û NIST CSRC - SP 800-94 (Dawî): Rêbernameya Sîstemên Tesbîtkirin û Pêşîlêgirtina Destwerdanê (IDPS) bêtir bixwînin

  4. Saito & Rehmsmeier (2015) - Nexşeya Bîranîna Rastîn ji Nexşeya ROC Agahdartir e Dema Nirxandina Dabeşkerên Dualî li ser Setên Daneyên Nehevseng (PLOS ONE) bêtir bixwînin

  5. Molnar - Fêrbûna Makîneyê ya Şîrovekirî (pirtûka webê) bêtir bixwîne

AI-ya herî dawî li Dikana Alîkarên AI-ya Fermî bibînin

Çûna nava

Vegere blogê