Skip to content

Junwu0615/Airflow-End-To-End-Dev

Repository files navigation

GitHub Views



⭐ Airflow-End-To-End-Dev ⭐

A. Current Progress

項目 敘述 完成時間
專案上架 - 2025-10-26
部署 GitLab 第 1 階段 2025-10-26
部署 Airflow 第 1 階段 2025-10-26
地端開發除錯測試 第 1 階段 2025-10-27
ETL 腳本範例測試 第 1 階段 2025-10-27
部署 Jenkins 第 2 階段 2025-10-28
啟動 Gitlab Runner 第 2 階段 2025-10-28
Jenkins CI/CD 管道建立 第 2 階段 2025-10-29
Telegram Alert 機制建立 第 2 階段 -
部署 Grafana + Loki 第 3 階段 -
Grafana + Loki 監控機制建立 第 3 階段 -
部署 ELK 第 3 階段 -
ELK 監控機制建立 第 3 階段 -
??? 第 4 階段 -

B. Technology Stack

階段 重點目標 完成標誌
第 1 階段:核心運行雛形 Airflow + Docker + Python DAG + GitLab 可執行 DAG,具備基本 ETL 能力
第 2 階段:自動化與通知 Jenkins CI/CD + Telegram Alert 每次推送自動部署、任務失敗即時通知
第 3 階段:監控與可視化 Grafana + Loki + ELK 可追蹤任務日誌與系統狀態
第 4 階段:擴充與品質治理 Terraform / DBT / Great Expectations 強化擴充性與資料品質控管

C. Service List

項目 服務定位 服務狀態 服務位置 說明文件
GitLab 伺服器服務 Online 8090 部署方式.md
Airflow 伺服器服務 Online 8100 部署方式.md
PostgreSQL 伺服器服務 Online 5433 With Airflow Docker-compose
PostgreSQL UI 伺服器服務 Online 5434 With Airflow Docker-compose
Airflow Standalone 純開發環境 Local 8150 部署方式.md | 開發說明.md
Jenkins 伺服器服務 Online 8095 部署方式.md
Grafana + Loki 伺服器服務 Online - -
ELK 伺服器服務 Online - -

D. Show Somethings

  • A. 當前已啟動容器項目

  • PNG
  • B. 開發流程

    • B.1 GitLab Commit : 將開發腳本上傳程式庫

    • PNG
    • B.2 GitLab CI + Jenkins CI/CD : 確認執行情況

    • PNG
    • PNG
    • PNG
    • B.3 Airflow : 檢查上線版本是否出現 DAGs

    • PNG
    • B.4 PostgreSQL UI : 檢查資料入庫

    • PNG

Releases

No releases published

Packages

No packages published

Languages