AI & Big Data: Animal Image Analytics

Scenario: 2 Mapper Tasks trên 1 Data Lake (Chó, Mèo, Chim)

Input Data
500 M Images
Tech Stack
Spark + TensorFlow

1. Data Lake Ingestion

Tải lên HDFS hỗn hợp ảnh Chó, Mèo, Chim. Một số ảnh bị mờ (Blurry), một số rõ nét (Clear).

HDFS Distributed Storage (DataNodes)

Hỗn hợp: Chó, Mèo, Chim
Empty Storage

2. Select Mapper Job (AI Model)

Mapper 1: Quality Check
Task: Kiểm tra ảnh mờ hay rõ
Map -> (BLURRY/CLEAR)
Mapper 2: Species Count
Task: Đếm số lượng Chó, Mèo, Chim
Map -> (DOG/CAT/BIRD)
MAP PHASE: AI Inference GPU Workers
Select a job above to start...
REDUCE PHASE: Statistics
Waiting for results...