Python 大數據專案×工程×產品：資料工程師的升級攻略

詳細資訊

"★☆★☆★ 獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★



本書承襲第一版的精彩內容，分享在 Github 獲得 1,900 stars 的大數據 Side Project，並幫助讀者從 0 開始，打造專屬個人的大數據 Side Project。



精彩收錄：



【資料工程】

○ 使用分散式技術，RabbitMQ、Flower、Celery，收集證交所、櫃買中心、期交所等股市資訊。

○ 使用 Docker、FastAPI 架設 RESTful API 服務。

○ 使用 Docker Swarm 架設分散式服務，包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。

○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。

○ 一站式管理多台分散式機器。

○ 使用業界等級的，分散式 Airflow。



【產品迭代】

○ 單元測試 Unit Test 介紹，包含爬蟲、API 測試範例。

○ 使用 CICD 做持續性整合、部屬，並以 Gitlab-CI 搭配 API 服務做為範例。



【API 產品上線】

○ 免費網址申請教學，No-IP。

○ 免費 SSL 憑證教學，Let's Encrypt。

○ 一站式管理多服務網址，容器化反向代理工具 Traefik。



【業界資料視覺化工具】

○ 使用 Redash 建立個人化、股市分析儀錶板。



【監控系統】

○ 使用最知名的監控工具，Prometheus、Grafana，同時監控所有服務。



讀完本書，你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控系統 Prometheus、Grafana 等，本書是一本集大成的作品。



※本書程式實例可至深智官網下載http://deepwisdom.com.tw"

目錄列表