Verilənlərin yoxlanılması (ing. Data validation) — müxtəlif tipli verilənlərin düzgünlük və konkret tətbiq üçün yararlılıq meyarlarına əsasən yoxlanılması prosesi.
Adətən verilənlərin yoxlanılması ETL əməliyyatlarının (verilənlərin çıxarılması, çevrilməsi və yüklənməsi) icrasından sonra, həmçinin maşın öyrənməsi modellərinin (proqnozların) nəticələrinin düzgünlüyünü təsdiqləmək məqsədilə həyata keçirilir.
Verilənlərin yoxlanılması yalnız cədvəl formasında olan verilənlərə deyil, həm də cədvəllər məcmusu, mətn, qrafik və səs verilənləri kimi müxtəlif formatlarda olan datasetlərə tətbiq edilir.
Verilənlərin avtomatlaşdırılmış emalı, statistika, eləcə də elmi və tibbi tədqiqatların nəticələrinin cəmlənməsi və işlənməsi kimi sahələrdə verilənlərin yoxlanılması üçün müxtəlif metodlardan istifadə olunur.
Verilənlərin yoxlanılmasının zəruriliyi
| ]Verilənlərin yoxlanılması, informasiya sisteminə və ya onun komponentlərinə əvvəlcədən səhv, natamam və ya dəqiqlikdən uzaq verilənlərin daxil olmasının qarşısını alan əsas üsullardan biridir. Belə verilənlərin daxil edilməsi sistemin işində səhv nəticələrə, məlumat itkisinə və nasazlıqlara səbəb ola bilər.
Səhv məlumatların yaranma səbəbləri müxtəlif ola bilər:
- verilənlərin əl ilə daxil edilməsi zamanı buraxılan səhvlər,
- alqoritmlərdə və proqram təminatında baş verən xətalar,
- verilənlərin saxlanması və ötürülməsi prosesindəki pozuntular,
- həmçinin sensorlar və IoT qurğuları kimi müxtəlif avadanlıqlar tərəfindən verilən yaradılması zamanı yaranan uyğunsuzluqlar.
Yoxlanılma prosesi zamanı aşağıdakı tədbirlər həyata keçirilə bilər:
- verilənlərin, faylların, paketlərin və ya qeydlərin düzəldilməsi və ya istisna edilməsi,
- operatorun məlumatlandırılması,
- informasiya sisteminin işləmə alqoritminin dəyişdirilməsi.
Bu tədbirlər nəticəsində sistemin etibarlılığı artır, səhv nəticələrin yaranma riski azalır və ümumi məlumat keyfiyyəti təmin olunur.
Verilənlərin yoxlanılması əməliyyatları
| ]Verilənlərin yoxlanılması müxtəlif metod və texnikalardan istifadə etməklə həyata keçirilir. Bu metodlara vizual yoxlama (o cümlədən analitik alətlərin tətbiqi ilə), məlumatların profilləşdirilməsi və filtrasiya daxildir. Müəyyən və ya məlum paylanmaya malik verilənlərin yoxlanılması, eləcə də maşın öyrənməsində məlumat driftinin qiymətləndirilməsi zamanı Kolmohorov uyğunluq meyarı kimi statistik paylanma müqayisə üsullarından istifadə oluna bilər.
Ən geniş praktik tətbiq, məlumatların sistemə daxil edildiyi anda avtomatik olaraq yoxlanılmasına əsaslanan metodlardır:
- Verilən tipinin yoxlanılması — istifadəçi tərəfindən daxil edilən simvolların əvvəlcədən müəyyən edilmiş verilən tipinə müvafiq olmasını təmin edir. Məsələn, tam ədədlər üçün nəzərdə tutulan sahə yalnız 0–9 arası simvolları qəbul etməlidir.
- Sadə diapazon və məhdudiyyət yoxlaması — daxil edilən verilənlərin müəyyən edilmiş minimum və maksimum hədlərə və ya simvol ardıcıllığına müvafiq olmasını təsdiqləyir. Məsələn, sayğac dəyəri mənfi olmamalı, parol isə minimal uzunluğa, həm böyük, həm kiçik hərflərə və xüsusi simvollara malik olmalıdır.
- Kodların və çarpaz istinadların yoxlanılması — verilənlərin müəyyən qayda və tələblərə müvafiq olmasını, həmçinin axtarış cədvəlləri və ya məlumat kataloqu xidmətləri (məsələn, LDAP) vasitəsilə istinadların düzgünlüyünü təmin edir. Məsələn, valyuta identifikasiyası üçün Azərbaycan Respublikasının valyuta kodları istifadə oluna bilər.
- Strukturlaşdırılmış yoxlama — bir neçə növ yoxlamanı birləşdirərək daha mürəkkəb emalı təmin edir; şərti məhdudiyyətlərin bütün məlumat məcmusuna tətbiqini əhatə edə bilər.
- Ziddiyyətsizlik yoxlaması — verilənlərin məntiqi ardıcıllığını təmin edir. Məsələn, sifarişin çatdırılma tarixi onun göndərilmə tarixindən əvvəl ola bilməz.
- Format yoxlaması — verilənlərin müəyyən formatda daxil edilməsini təmin edir. Məsələn, coğrafi koordinatlar "dərəcə, dəqiqə, saniyə" formasında olmalıdır.
- Əskik qeydlərin yoxlanılması — verilən məcmusunda mövcud olmayan qeydləri aşkarlayır.
- Kardinallıq yoxlaması — qeydlərin əlaqəli məlumatlarla düzgün sayda əlaqəyə malik olmasını təmin edir. Məsələn, "Müştəri" qeydinə ən azı bir "Sifariş" müvafiq gəlməlidir.
- Nəzarət rəqəmləri — ədədi verilənlərdə səhvləri müəyyən etmək üçün əlavə rəqəmin hesablanması və yoxlanılması üsuludur.
- Sistemlərarası müvafiqlik yoxlaması — eyni verilənlərin müxtəlif sistemlərdə müvafiq olub-olmadığını müqayisə edir. Məsələn, bir sistemdə "Soyad, Ad, Ata adı" tək sahədə saxlanıla bilər, digərində isə üç ayrı sahədə.
- Faylın mövcudluğunun yoxlanılması — göstərilən adda faylın mövcud olub-olmamasını müəyyən edir; fayllarla işləyən proqramlar üçün vacibdir.
- Verilənin mövcudluğunun yoxlanılması — vacib sahələrin (məsələn, elektron poçt ünvanı) doldurulmasını təmin edir.
- Diapazon yoxlaması — verilənlərin müəyyən interval daxilində olub-olmamasını yoxlayır (məsələn, ehtimal dəyərləri 0 ilə 1 arasında olmalıdır).
- İstinad bütövlüyünün yoxlanılması — verilənlər bazasında xarici və əsas açarların müvafiqliyini təmin edir, beləliklə istinad olunan cədvəl hər zaman real mövcud sətrə istinad edir.
- Orfoqrafiya və qrammatika yoxlaması — mətn daxilində yazı və dil səhvlərini aşkarlayır.
- Unikallığın yoxlanılması — dəyərlərin təkrarlanmadığını təmin edir; bu yoxlama bir neçə sahəyə eyni vaxtda tətbiq oluna bilər (məsələn, ad, soyad və ünvan).
- Cədvəl üzrə axtarış yoxlaması — daxil edilən verilənlərin müəyyən edilmiş icazəli dəyərlər məcmusu ilə müvafiqliyini müəyyən edir.
Bundan əlavə, digər metodlar və onların kombinasiyaları da verilənlərin dəqiqliyini və etibarlılığını təmin etmək üçün tətbiq oluna bilər.
Yoxlamadan keçməyən verilənlərin istifadəsinin riskləri
| ]Yoxlamadan keçməmiş verilənlərin istifadəsi informasiya sistemlərinin işində səhv və qeyri-dəqiq nəticələrə, həmçinin verilənlərin və onların qarşılıqlı əlaqələrinin (o cümlədən maşın öyrənməsi modellərinin çəki dəyərlərinin) itirilməsinə səbəb ola bilər. Bu hallar sistemlərin fəaliyyətində kritik nasazlıqların yaranmasına gətirib çıxara və onların etibarlılığını ciddi şəkildə azalda bilər.
İstinadlar
| ]- "Архивированная копия" (PDF). 1 dekabr 2017 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 11 dekabr 2021.
- "SAS Visual Statistics Features | SAS". 12 dekabr 2021 tarixində arxivləşdirilib. İstifadə tarixi: 11 dekabr 2021.
- "Validate Data". 11 dekabr 2021 tarixində arxivləşdirilib. İstifadə tarixi: 11 dekabr 2021.
- "Validating data quality in AWS Glue DataBrew - AWS Glue DataBrew". 11 dekabr 2021 tarixində arxivləşdirilib. İstifadə tarixi: 11 dekabr 2021.
Xarici keçidlər
| ]- Data Validation, OWASP
- Input Validation, OWASP Cheat Sheet Series, github.com
wikipedia, oxu, kitab, kitabxana, axtar, tap, meqaleler, kitablar, oyrenmek, wiki, bilgi, tarix, tarixi, endir, indir, yukle, izlə, izle, mobil, telefon ucun, azeri, azəri, azerbaycanca, azərbaycanca, sayt, yüklə, pulsuz, pulsuz yüklə, haqqında, haqqinda, məlumat, melumat, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, şəkil, muisiqi, mahnı, kino, film, kitab, oyun, oyunlar, android, ios, apple, samsung, iphone, pc, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, web, computer, komputer
Vikipediya azad ensiklopediya Verilenlerin yoxlanilmasi ing Data validation muxtelif tipli verilenlerin duzgunluk ve konkret tetbiq ucun yararliliq meyarlarina esasen yoxlanilmasi prosesi Adeten verilenlerin yoxlanilmasi ETL emeliyyatlarinin verilenlerin cixarilmasi cevrilmesi ve yuklenmesi icrasindan sonra hemcinin masin oyrenmesi modellerinin proqnozlarin neticelerinin duzgunluyunu tesdiqlemek meqsedile heyata kecirilir Verilenlerin yoxlanilmasi yalniz cedvel formasinda olan verilenlere deyil hem de cedveller mecmusu metn qrafik ve ses verilenleri kimi muxtelif formatlarda olan datasetlere tetbiq edilir Verilenlerin avtomatlasdirilmis emali statistika elece de elmi ve tibbi tedqiqatlarin neticelerinin cemlenmesi ve islenmesi kimi sahelerde verilenlerin yoxlanilmasi ucun muxtelif metodlardan istifade olunur Verilenlerin yoxlanilmasinin zeruriliyi span Verilenlerin yoxlanilmasi informasiya sistemine ve ya onun komponentlerine evvelceden sehv natamam ve ya deqiqlikden uzaq verilenlerin daxil olmasinin qarsisini alan esas usullardan biridir Bele verilenlerin daxil edilmesi sistemin isinde sehv neticelere melumat itkisine ve nasazliqlara sebeb ola biler Sehv melumatlarin yaranma sebebleri muxtelif ola biler verilenlerin el ile daxil edilmesi zamani buraxilan sehvler alqoritmlerde ve proqram teminatinda bas veren xetalar verilenlerin saxlanmasi ve oturulmesi prosesindeki pozuntular hemcinin sensorlar ve IoT qurgulari kimi muxtelif avadanliqlar terefinden verilen yaradilmasi zamani yaranan uygunsuzluqlar Yoxlanilma prosesi zamani asagidaki tedbirler heyata kecirile biler verilenlerin fayllarin paketlerin ve ya qeydlerin duzeldilmesi ve ya istisna edilmesi operatorun melumatlandirilmasi informasiya sisteminin isleme alqoritminin deyisdirilmesi Bu tedbirler neticesinde sistemin etibarliligi artir sehv neticelerin yaranma riski azalir ve umumi melumat keyfiyyeti temin olunur Verilenlerin yoxlanilmasi emeliyyatlari span Verilenlerin yoxlanilmasi muxtelif metod ve texnikalardan istifade etmekle heyata kecirilir Bu metodlara vizual yoxlama o cumleden analitik aletlerin tetbiqi ile melumatlarin profillesdirilmesi ve filtrasiya daxildir Mueyyen ve ya melum paylanmaya malik verilenlerin yoxlanilmasi elece de masin oyrenmesinde melumat driftinin qiymetlendirilmesi zamani Kolmohorov uygunluq meyari kimi statistik paylanma muqayise usullarindan istifade oluna biler En genis praktik tetbiq melumatlarin sisteme daxil edildiyi anda avtomatik olaraq yoxlanilmasina esaslanan metodlardir Verilen tipinin yoxlanilmasi istifadeci terefinden daxil edilen simvollarin evvelceden mueyyen edilmis verilen tipine muvafiq olmasini temin edir Meselen tam ededler ucun nezerde tutulan sahe yalniz 0 9 arasi simvollari qebul etmelidir Sade diapazon ve mehdudiyyet yoxlamasi daxil edilen verilenlerin mueyyen edilmis minimum ve maksimum hedlere ve ya simvol ardicilligina muvafiq olmasini tesdiqleyir Meselen saygac deyeri menfi olmamali parol ise minimal uzunluga hem boyuk hem kicik herflere ve xususi simvollara malik olmalidir Kodlarin ve carpaz istinadlarin yoxlanilmasi verilenlerin mueyyen qayda ve teleblere muvafiq olmasini hemcinin axtaris cedvelleri ve ya melumat kataloqu xidmetleri meselen LDAP vasitesile istinadlarin duzgunluyunu temin edir Meselen valyuta identifikasiyasi ucun Azerbaycan Respublikasinin valyuta kodlari istifade oluna biler Strukturlasdirilmis yoxlama bir nece nov yoxlamani birlesdirerek daha murekkeb emali temin edir serti mehdudiyyetlerin butun melumat mecmusuna tetbiqini ehate ede biler Ziddiyyetsizlik yoxlamasi verilenlerin mentiqi ardicilligini temin edir Meselen sifarisin catdirilma tarixi onun gonderilme tarixinden evvel ola bilmez Format yoxlamasi verilenlerin mueyyen formatda daxil edilmesini temin edir Meselen cografi koordinatlar derece deqiqe saniye formasinda olmalidir Eskik qeydlerin yoxlanilmasi verilen mecmusunda movcud olmayan qeydleri askarlayir Kardinalliq yoxlamasi qeydlerin elaqeli melumatlarla duzgun sayda elaqeye malik olmasini temin edir Meselen Musteri qeydine en azi bir Sifaris muvafiq gelmelidir Nezaret reqemleri ededi verilenlerde sehvleri mueyyen etmek ucun elave reqemin hesablanmasi ve yoxlanilmasi usuludur Sistemlerarasi muvafiqlik yoxlamasi eyni verilenlerin muxtelif sistemlerde muvafiq olub olmadigini muqayise edir Meselen bir sistemde Soyad Ad Ata adi tek sahede saxlanila biler digerinde ise uc ayri sahede Faylin movcudlugunun yoxlanilmasi gosterilen adda faylin movcud olub olmamasini mueyyen edir fayllarla isleyen proqramlar ucun vacibdir Verilenin movcudlugunun yoxlanilmasi vacib sahelerin meselen elektron poct unvani doldurulmasini temin edir Diapazon yoxlamasi verilenlerin mueyyen interval daxilinde olub olmamasini yoxlayir meselen ehtimal deyerleri 0 ile 1 arasinda olmalidir Istinad butovluyunun yoxlanilmasi verilenler bazasinda xarici ve esas acarlarin muvafiqliyini temin edir belelikle istinad olunan cedvel her zaman real movcud setre istinad edir Orfoqrafiya ve qrammatika yoxlamasi metn daxilinde yazi ve dil sehvlerini askarlayir Unikalligin yoxlanilmasi deyerlerin tekrarlanmadigini temin edir bu yoxlama bir nece saheye eyni vaxtda tetbiq oluna biler meselen ad soyad ve unvan Cedvel uzre axtaris yoxlamasi daxil edilen verilenlerin mueyyen edilmis icazeli deyerler mecmusu ile muvafiqliyini mueyyen edir Bundan elave diger metodlar ve onlarin kombinasiyalari da verilenlerin deqiqliyini ve etibarliligini temin etmek ucun tetbiq oluna biler Yoxlamadan kecmeyen verilenlerin istifadesinin riskleri span Yoxlamadan kecmemis verilenlerin istifadesi informasiya sistemlerinin isinde sehv ve qeyri deqiq neticelere hemcinin verilenlerin ve onlarin qarsiliqli elaqelerinin o cumleden masin oyrenmesi modellerinin ceki deyerlerinin itirilmesine sebeb ola biler Bu hallar sistemlerin fealiyyetinde kritik nasazliqlarin yaranmasina getirib cixara ve onlarin etibarliligini ciddi sekilde azalda biler Istinadlar span Arhivirovannaya kopiya PDF 1 dekabr 2017 tarixinde arxivlesdirilib PDF Istifade tarixi 11 dekabr 2021 SAS Visual Statistics Features SAS 12 dekabr 2021 tarixinde arxivlesdirilib Istifade tarixi 11 dekabr 2021 Validate Data 11 dekabr 2021 tarixinde arxivlesdirilib Istifade tarixi 11 dekabr 2021 Validating data quality in AWS Glue DataBrew AWS Glue DataBrew 11 dekabr 2021 tarixinde arxivlesdirilib Istifade tarixi 11 dekabr 2021 Xarici kecidler span Data Validation OWASP Input Validation OWASP Cheat Sheet Series github comVerilenlerVerilenlerin elde edilmesi Verilenlerin artirilmasi Verilenlerin analizi Verilenlerin anonimlesdirilmesi Verilenlerin arxeologiyasi Boyuk verilenler Verilenlerin temizlenmesi Verilenlerin toplanmasi Verilenlerin sixlasdirilmasi Verilenlerin pozulmasi Verilenlerin kurasiyasi Verilenlerin tekrarsizlasdirilmasi Verilenlerin deqradasiyasi Verilenlerin identifikasiyasinin silinmesi Verilenler ekosistemi Verilenlerin redaktesi Verilenler muhendisliyi Verilenlerin silinmesi Cixaris transformasiya yukleme ETL Verilenler etikasi Verilenler idareciliyi Verilenlerin idareedilmesi Metamelumatlar Verilenler medenciliyi Verilenlerin mexfiliyi muhafize Verilenlerin berpasi Verilenlerin keyfiyyeti Verilenler elmi Verilenler tehlukesizliyi Verilenler tipi Verilenlerin yoxlanilmasi Verilenler xezinesi Normativ yoxlamaMicrosoft 92446256 2780167796 Kateqoriyalar Verilenlerin emal edilmesiVerilenlerin tehlukesizliyiVerilenlerin keyfiyyeti
