Medallion arxitekturasidagi ma’lumot ombori

Bir-biriga umuman mos kelmaydigan beshta manba

Ombor beshta haqiqiy ochiq manbadan tortadi — ular ataylab bir-biriga tushmaydigan qilib tanlangan:

• NYC Taxi and Limousine Commission — HTTPS orqali oylik Parquet fayllar
• OpenAQ — havo sifati o‘lchovlarining sahifalangan JSON’i
• World Bank — mamlakat va yil bo‘yicha YaIM JSON’i
• European Central Bank — USD/EUR kursining CSV’si
• Open-Meteo — harorat, yog‘in, shamol va namlik JSON’i

Turli formatlar, turli darajadagi maydalik, sana nima ekani haqida turli tasavvur. Taksi ma’lumoti har safar bo‘yicha, havo sifati har o‘lchov bo‘yicha, YaIM yiliga bir marta keladi. Ularni bitta modelga keltirish — mashqning o‘zi shu.

Bronze jim turadi

Bronze qatlami fayllarni qanday kelgan bo‘lsa shundayligicha saqlaydi: Parquet, JSON va CSV — bronze/nyc_taxi/, bronze/air_quality/, bronze/economy/ va bronze/weather/ ostida. Hech qanday o‘zgartirishsiz.

Mana shu tiyilishning o‘zi maqsad. Uch hafta o‘tib raqam noto‘g‘ri ko‘ringanda, uni manba shunday yuborganmi yoki o‘zgartirish shunday qilganmi degan savolga faqat bronze javob bera oladi. Kirishda «biroz tartibga soladigan» qatlam dalilni yo‘q qiladi.

Yig‘ish ataylab har xil: bitta mexanizmga majburlanmagan, har manbaga moslangan — taksi fayllari uchun Pipeline, OpenAQ, ECB kursi va Jahon banki YaIM’i uchun Dataflow Gen2, ob-havo uchun Notebook.

Silver bahslashadi

Silver — PySpark noutbuklari truncate va insert bilan to‘liq yuklaydigan Delta jadvallari. Tozalash, standartlashtirish, normallashtirish va hosila ustunlar aynan shu yerda hisoblanadi; natijada nyc_taxi_silver, openaq_silver, ecb_fx_silver, world_gdp_silver va weather_silver chiqadi.

Bu hajmda inkremental emas, to‘liq yuklash to‘g‘ri qaror edi. Inkremental yuklash tezlikni sotib olib, uning evaziga to‘g‘rilik xatolarini beradi — bu yerdagi hajm esa tezlikka muhtoj emasdi.

Gold o‘qish uchun modellashtirilgan

!Yulduz sxemasi: uchta kunlik fakt jadvali atrofida sana, zona, kurs va YaIM o‘lchovlari

Uchta fakt jadvali, hammasi kunlik darajada: facttaxidaily, factairqualitydaily va factweatherdaily. Ular atrofida to‘rtta o‘lchov: dimdate, dimzone, dimfx va dimgdp.

Modeldagi aytishga arziydigan ikkita qaror:

• Hammasi kunlik darajaga keltirilgan. Taksi safarlari va havo o‘lchovlari
• `dimgdp` da tashqi kalit yo‘q. YaIM yillik va mamlakat darajasida, ya’ni uni

dimdate ichida year, month, day, month_name, day_name, day_of_week, quarter va is_weekend bor — hisobot so‘rov paytida satr tahlil qilmasdan, ustun bo‘yicha filtrlaydi.

Uchta chiqish

Gold qatlami uchta iste’molchini oziqlantiradi — bu uning qanchalik yaxshi modellashtirilganini tekshirishning yaxshi usuli:

• Power BI — to‘g‘ridan-to‘g‘ri gold ustiga qurilgan beshta hisobot sahifasi.
• InfluxDB — ob-havo vaqt qatorlari uchun. Soat 07:00 dagi cron
• Telegram bot — /check_quality buyrug‘i so‘ralganda Great Expectations’ning

Oxirgisi ko‘ringanidan muhimroq. Noutbuk ichida yashaydigan sifat hisobotlari bir marta o‘qiladi. Telefondan so‘rasa bo‘ladigan hisobot esa nimadir g‘alati ko‘ringanda o‘qiladi — u faqat o‘sha paytda kerak bo‘ladi.