Çıxarış, transformasiya, yükləmə və ya ETL — (ing. Extract, Transform, Load) — verilənlər xəzinəsinin idarə edilməsində əsas proseslərdən biri. ETL — verilənlərin bir mənbədən digərinə köçürülməsi ilə bağlı bütün prosesləri əhatə edən ümumi termindir (bu proseslə əlaqəli digər anlayışlar: eksport, import, məlumatların konvertasiyası, fayl parsinqi, veb-skrapinq və s.). ETL prosesi aşağıdakı mərhələləri özündə birləşdirir:
- Verilənlərin çıxarılması — xarici mənbələrdən verilənlərin əldə edilməsi;
- Transformasiya — verilənlərin biznes modelinin tələblərinə uyğunlaşdırılması üçün onların çevrilməsi, təmizlənməsi və zənginləşdirilməsi;
- Yüklənmə — işlənmiş verilənlərin məlumat anbarına yerləşdirilməsi.
ETL prosesinin baxımından məlumat anbarının arxitekturasını üç əsas komponent şəklində təqdim etmək olar:
- Verilən mənbəyi — strukturlaşdırılmış verilənləri cədvəl, cədvəllər məcmusu və ya sadəcə ayırıcı simvollarla bölünmüş fayl şəklində saxlayan sistem;
- Aralıq sahə — verilənlərin yüklənməsi prosesini təşkil etmək üçün müvəqqəti və yalnız köməkçi məqsədlə yaradılan cədvəlləri ehtiva edən mühit;
- Verilən qəbuledicisi — çıxarılmış verilənlərin yerləşdirildiyi məlumat anbarı və ya verilənlər bazası.
Verilənlərin mənbədən qəbulediciyə ötürülməsi verilən axını adlanır. Verilən axınının təşkili üçün tələblər adətən analitik tərəfindən müəyyən edilir. ETL yalnız bir tətbiqdən digərinə verilən ötürmə prosesi kimi deyil, həm də verilənlərin təhlilə hazırlanması aləti kimi nəzərdən keçirilməlidir.
ETL-də verilənlərin çıxarılması
| ]ETL prosesinin ilkin mərhələsi verilənlərin mənbələrdən çıxarılması və onların transformasiya mərhələsinə hazırlanmasıdır. Verilənlərin çıxarılması prosedurunun hazırlanması zamanı ilk növbədə OLTP sistemlərindən və ya ayrı-ayrı mənbələrdən verilənlərin yüklənmə tezliyi müəyyən edilməlidir. Verilənlərin yüklənməsi müəyyən vaxt tələb edir və bu müddət yükləmə pəncərəsi (ing. load window) adlanır.
Verilənlərin çıxarılması prosesi iki üsulla həyata keçirilə bilər:
- Xüsusi proqram təminatı vasitəsilə verilənlərin çıxarılması;
- Verilənlərin saxlandığı sistemin daxili imkanlarından istifadə etməklə çıxarılması.
Çıxarılmış verilənlər sonradan aralıq sahəyə (ing. staging area) yerləşdirilir. Bu mərhələdə hər bir verilən mənbəyi üçün ayrıca cədvəl, fayl və ya hər ikisi yaradılır.
Verilənlərin transformasiyası
| ]Bu mərhələnin məqsədi — verilənləri verilənlər xəzinəsində yerləşdirməyə hazırlamaq və onları sonrakı təhlil üçün daha əlverişli formaya salmaqdır. Bu zaman analitik tərəfindən irəli sürülən tələblər, xüsusilə də verilənlərin keyfiyyət səviyyəsinə dair tələblər nəzərə alınmalıdır.
Buna görə verilənlərin transformasiyası mərhələsində çox müxtəlif alətlərdən istifadə oluna bilər — ən sadə əl ilə redaktə üsullarından başlayaraq, mürəkkəb məlumat emalı və təmizləmə sistemlərinə kimi
ETL çərçivəsində verilənlərin transformasiyası zamanı adətən aşağıdakı əməliyyatlar yerinə yetirilir:
- Verilənlərin strukturunun transformasiyası;
- Verilənlərin aqreqasiyası (ümumiləşdirilməsi);
- Dəyərlərin transformasiyası (məsələn, format və ya vahidlərin dəyişdirilməsi);
- Yeni verilənlərin yaradılması;
- Verilənlərin təmizlənməsi.
Verilənlərin yüklənməsi
| ]Yüklənmə prosesi verilənlərin aralıq cədvəllərdən verilənlər xəzinəsinin strukturuna köçürülməsini nəzərdə tutur. Növbəti yüklənmə zamanı verilənlər xəzinəsinə mənbələrdəki bütün məlumatlar deyil, yalnız əvvəlki yüklənmədən sonra dəyişdirilmiş və ya əlavə olunmuş verilənlər ötürülür.
Bu mərhələdə iki əsas verilən axını fərqləndirilir:
- Əlavəetmə axını — verilənlər xəzinəsinə daha əvvəl mövcud olmayan, yeni verilənlərin ötürülməsi;
- Yeniləmə (tamamlama) axını — əvvəl mövcud olan, lakin dəyişdirilmiş və ya genişləndirilmiş verilənlərin ötürülməsi.
Yüklənən verilənlərin bu axınlar üzrə bölüşdürülməsi üçün verilənlərin idarəetmə vasitələrindən istifadə olunur. Bu vasitələr müəyyən vaxt nöqtələrində verilənlərin vəziyyətini qeydə alır və hansı verilənlərin dəyişdirildiyini və ya əlavə olunduğunu müəyyənləşdirir.
İstinadlar
| ]- Ralph., Kimball. The data warehouse ETL toolkit : practical techniques for extracting, cleaning, conforming, and delivering data. Caserta, Joe, 1965-. Indianapolis, IN: Wiley. 2004. ISBN . OCLC 57301227.
- Denney, MJ. "Validating the extract, transform, load process used to populate a large clinical research database". International Journal of Medical Informatics. 94. 2016: 271–4. doi:10.1016/j.ijmedinf.2016.07.009. PMC 5556907. PMID 27506144.
- Zhao, Shirley. "What is ETL? (Extract, Transform, Load) | Experian". Experian Data Quality. 20 oktyabr 2017. İstifadə tarixi: 12 dekabr 2018.
- Pott, Trevor. "Extract, transform, load? More like extremely tough to load, amirite?". The Register. 4 iyun 2018. İstifadə tarixi: 12 dekabr 2018.
Ədəbiyyat siyahısı
| ]- David Loshin. ETL (Extract, Transform, Load) // Business Intelligence (2nd). Morgan Kaufmann. 2012. ISBN .
- David Haertzen. ETL Tools // The Analytical Puzzle: Profitable Data Warehousing, Business Intelligence and Analytics. Technics Publications. 2012. ISBN .
- Ralph Kimball, Joe Caserta. The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data. John Wiley & Sons. 2004. ISBN .
wikipedia, oxu, kitab, kitabxana, axtar, tap, meqaleler, kitablar, oyrenmek, wiki, bilgi, tarix, tarixi, endir, indir, yukle, izlə, izle, mobil, telefon ucun, azeri, azəri, azerbaycanca, azərbaycanca, sayt, yüklə, pulsuz, pulsuz yüklə, haqqında, haqqinda, məlumat, melumat, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, şəkil, muisiqi, mahnı, kino, film, kitab, oyun, oyunlar, android, ios, apple, samsung, iphone, pc, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, web, computer, komputer
Vikipediya azad ensiklopediya Cixaris transformasiya yukleme ve ya ETL ing Extract Transform Load verilenler xezinesinin idare edilmesinde esas proseslerden biri ETL verilenlerin bir menbeden digerine kocurulmesi ile bagli butun prosesleri ehate eden umumi termindir bu prosesle elaqeli diger anlayislar eksport import melumatlarin konvertasiyasi fayl parsinqi veb skrapinq ve s ETL prosesi asagidaki merheleleri ozunde birlesdirir Verilenlerin cixarilmasi xarici menbelerden verilenlerin elde edilmesi Transformasiya verilenlerin biznes modelinin teleblerine uygunlasdirilmasi ucun onlarin cevrilmesi temizlenmesi ve zenginlesdirilmesi Yuklenme islenmis verilenlerin melumat anbarina yerlesdirilmesi ETL prosesinin baximindan melumat anbarinin arxitekturasini uc esas komponent seklinde teqdim etmek olar Verilen menbeyi strukturlasdirilmis verilenleri cedvel cedveller mecmusu ve ya sadece ayirici simvollarla bolunmus fayl seklinde saxlayan sistem Araliq sahe verilenlerin yuklenmesi prosesini teskil etmek ucun muveqqeti ve yalniz komekci meqsedle yaradilan cedvelleri ehtiva eden muhit Verilen qebuledicisi cixarilmis verilenlerin yerlesdirildiyi melumat anbari ve ya verilenler bazasi Verilenlerin menbeden qebulediciye oturulmesi verilen axini adlanir Verilen axininin teskili ucun telebler adeten analitik terefinden mueyyen edilir ETL yalniz bir tetbiqden digerine verilen oturme prosesi kimi deyil hem de verilenlerin tehlile hazirlanmasi aleti kimi nezerden kecirilmelidir ETL de verilenlerin cixarilmasi span ETL prosesinin ilkin merhelesi verilenlerin menbelerden cixarilmasi ve onlarin transformasiya merhelesine hazirlanmasidir Verilenlerin cixarilmasi prosedurunun hazirlanmasi zamani ilk novbede OLTP sistemlerinden ve ya ayri ayri menbelerden verilenlerin yuklenme tezliyi mueyyen edilmelidir Verilenlerin yuklenmesi mueyyen vaxt teleb edir ve bu muddet yukleme penceresi ing load window adlanir Verilenlerin cixarilmasi prosesi iki usulla heyata kecirile biler Xususi proqram teminati vasitesile verilenlerin cixarilmasi Verilenlerin saxlandigi sistemin daxili imkanlarindan istifade etmekle cixarilmasi Cixarilmis verilenler sonradan araliq saheye ing staging area yerlesdirilir Bu merhelede her bir verilen menbeyi ucun ayrica cedvel fayl ve ya her ikisi yaradilir Verilenlerin transformasiyasi span Bu merhelenin meqsedi verilenleri verilenler xezinesinde yerlesdirmeye hazirlamaq ve onlari sonraki tehlil ucun daha elverisli formaya salmaqdir Bu zaman analitik terefinden ireli surulen telebler xususile de verilenlerin keyfiyyet seviyyesine dair telebler nezere alinmalidir Buna gore verilenlerin transformasiyasi merhelesinde cox muxtelif aletlerden istifade oluna biler en sade el ile redakte usullarindan baslayaraq murekkeb melumat emali ve temizleme sistemlerine kimi ETL cercivesinde verilenlerin transformasiyasi zamani adeten asagidaki emeliyyatlar yerine yetirilir Verilenlerin strukturunun transformasiyasi Verilenlerin aqreqasiyasi umumilesdirilmesi Deyerlerin transformasiyasi meselen format ve ya vahidlerin deyisdirilmesi Yeni verilenlerin yaradilmasi Verilenlerin temizlenmesi Verilenlerin yuklenmesi span Yuklenme prosesi verilenlerin araliq cedvellerden verilenler xezinesinin strukturuna kocurulmesini nezerde tutur Novbeti yuklenme zamani verilenler xezinesine menbelerdeki butun melumatlar deyil yalniz evvelki yuklenmeden sonra deyisdirilmis ve ya elave olunmus verilenler oturulur Bu merhelede iki esas verilen axini ferqlendirilir Elaveetme axini verilenler xezinesine daha evvel movcud olmayan yeni verilenlerin oturulmesi Yenileme tamamlama axini evvel movcud olan lakin deyisdirilmis ve ya genislendirilmis verilenlerin oturulmesi Yuklenen verilenlerin bu axinlar uzre bolusdurulmesi ucun verilenlerin idareetme vasitelerinden istifade olunur Bu vasiteler mueyyen vaxt noqtelerinde verilenlerin veziyyetini qeyde alir ve hansi verilenlerin deyisdirildiyini ve ya elave olundugunu mueyyenlesdirir Istinadlar span Ralph Kimball The data warehouse ETL toolkit practical techniques for extracting cleaning conforming and delivering data Caserta Joe 1965 Indianapolis IN Wiley 2004 ISBN 978 0764579233 OCLC 57301227 Denney MJ Validating the extract transform load process used to populate a large clinical research database International Journal of Medical Informatics 94 2016 271 4 doi 10 1016 j ijmedinf 2016 07 009 PMC 5556907 PMID 27506144 Zhao Shirley What is ETL Extract Transform Load Experian Experian Data Quality 20 oktyabr 2017 Istifade tarixi 12 dekabr 2018 Pott Trevor Extract transform load More like extremely tough to load amirite The Register 4 iyun 2018 Istifade tarixi 12 dekabr 2018 Edebiyyat siyahisi span David Loshin ETL Extract Transform Load Business Intelligence 2nd Morgan Kaufmann 2012 ISBN 978 0 12 385890 0 David Haertzen ETL Tools The Analytical Puzzle Profitable Data Warehousing Business Intelligence and Analytics Technics Publications 2012 ISBN 978 1 935504 20 7 Ralph Kimball Joe Caserta The Data Warehouse ETL Toolkit Practical Techniques for Extracting Cleaning Conforming and Delivering Data John Wiley amp Sons 2004 ISBN 978 0 764 56757 5 VerilenlerVerilenlerin elde edilmesi Verilenlerin artirilmasi Verilenlerin analizi Verilenlerin anonimlesdirilmesi Verilenlerin arxeologiyasi Boyuk verilenler Verilenlerin temizlenmesi Verilenlerin toplanmasi Verilenlerin sixlasdirilmasi Verilenlerin pozulmasi Verilenlerin kurasiyasi Verilenlerin tekrarsizlasdirilmasi Verilenlerin deqradasiyasi Verilenlerin identifikasiyasinin silinmesi Verilenler ekosistemi Verilenlerin redaktesi Verilenler muhendisliyi Verilenlerin silinmesi Cixaris transformasiya yukleme ETL Verilenler etikasi Verilenler idareciliyi Verilenlerin idareedilmesi Metamelumatlar Verilenler medenciliyi Verilenlerin mexfiliyi muhafize Verilenlerin berpasi Verilenlerin keyfiyyeti Verilenler elmi Verilenler tehlukesizliyi Verilenler tipi Verilenlerin yoxlanilmasi Verilenler xezinesi Verilenler xezinesiVerilenler xezinesi yaratmaqKonsepsiyalarVerilenler bazasi OLAPVariantlarModellesdirme numuneleriElementler Verilenler koskuFaktOlcuDoldurmaqCixar cevir yukleVerilenler xezinesinin istifade edilmesiKonsepsiyasi dashboard Data miningDillerToolsElaqeliInsanlarMehsullar Kateqoriyalar Verilenler xezinesiCixaris transformasiya yukleme aletleri
