PDF Introduction to Machine Learning Systems - Vijay Janapa Reddi

“Introduction to Machine Learning Systems”, giáo trình chính thức Harvard từ khóa học CS249r, do GS. Vijay Janapa Reddi (từng dẫn dắt dự án AI tại Google & Qualcomm) biên soạn.
Không dừng ở “train model trên Colab”, mà đi trọn vòng đời hệ thống ML: từ ý tưởng → triển khai → vận hành → tối ưu.
Nội dung nổi bật:
- ML system foundations: thiết kế kiến trúc end-to-end, feature store, serving, monitoring.
- Deep learning primer: CNN, Transformer, và tối ưu accuracy-latency-cost.
- AI workflows: quy trình CI/CD cho model trong môi trường production.
- Data engineering: data validation, versioning, tránh data leakage
- Distributed training: ZeRO, FSDP, model/data parallelism.
- Performance engineering: quantization, pruning, TorchScript, ONNX, hardware optimization.
- Tương lai AI: AGI, Small Language Models (SLMs), Vision-Language Models (VLMs).
P/s: Phù hợp cho: ML engineer muốn hiểu sâu hệ thống production, Data scientist chuyển hướng sang ML engineering, Ứng viên phỏng vấn FAANG hoặc startup AI.



"Machine Learning Systems: Principles and Practices of Engineering Artificially Intelligent Systems" (Hệ thống Học máy: Các Nguyên tắc và Thực tiễn Kỹ thuật các Hệ thống Trí tuệ Nhân tạo) của Prof. Vijay Janapa Reddi từ Đại học Harvard.

Đây là tóm tắt các phần chính của cuốn sách:

• Lời mở đầu (Frontmatter): Bao gồm thông tin về tác giả, mục đích và cấu trúc của sách, đối tượng độc giả, và lời cảm ơn.
• Chương 1: Giới thiệu (Introduction): Đặt nền móng bằng cách định nghĩa Hệ thống Học máy (ML Systems), chỉ ra sự khác biệt so với phần mềm truyền thống, đề cập đến sự phát triển lịch sử của các mô hình AI và chu trình sống, triển khai của hệ thống ML.
• Phần I: Nền tảng Hệ thống (Systems Foundations):
  • Chương 2: Hệ thống ML (ML Systems): Tập trung vào các mô hình triển khai (Deployment Paradigms) như Cloud ML, Edge ML, Mobile ML, Tiny ML và kiến trúc lai (Hybrid Architectures), cùng với các nguyên tắc chung.
  • Chương 3: Kiến thức cơ bản về Học sâu (DL Primer): Giới thiệu nền tảng kỹ thuật hệ thống Học sâu, sự phát triển của các mô hình ML, và các khái niệm cơ bản về Mạng nơ-ron (như lan truyền thuận, hàm mất mát, lan truyền ngược).
  • Chương 4: Kiến trúc Mạng Nơ-ron Sâu (DNN Architectures): Phân tích các kiến trúc DNN chính như Multi-Layer Perceptrons (MLPs), Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs) và Attention Mechanisms, cùng với các khối xây dựng cấp hệ thống.
• Phần II: Nguyên tắc Thiết kế (Design Principles):
  • Chương 5: Quy trình AI (AI Workflow): Trình bày khung làm việc có hệ thống cho phát triển ML, so sánh với phát triển phần mềm truyền thống, và mô tả sáu giai đoạn cốt lõi của chu trình sống ML (Định nghĩa vấn đề, Thu thập & Chuẩn bị dữ liệu, Phát triển & Huấn luyện mô hình, Triển khai & Tích hợp, Giám sát & Bảo trì).
  • Chương 6: Kỹ thuật Dữ liệu (Data Engineering): Chi tiết hóa Kỹ thuật Dữ liệu như một ngành khoa học hệ thống, tập trung vào Kiến trúc Đường ống Dữ liệu (Pipeline Architecture), Thu thập Dữ liệu Chiến lược, Nhập dữ liệu, Xử lý Dữ liệu có Hệ thống, Gắn nhãn Dữ liệu và Kiến trúc Lưu trữ Chiến lược (Feature Stores).
  • Chương 7: Khung AI (AI Frameworks): Khảo sát các khung làm việc AI (TensorFlow, PyTorch, JAX), các khái niệm cơ bản (Đồ thị tính toán, Vi phân tự động) và phương pháp luận lựa chọn khung làm việc có hệ thống.
  • Chương 8: Huấn luyện AI (AI Training): Đi sâu vào kiến trúc hệ thống huấn luyện, tối ưu hóa đường ống (prefetching, mixed-precision training, gradient accumulation), và các hệ thống phân tán (Data Parallelism, Model Parallelism).
• Phần III: Kỹ thuật Hiệu suất (Performance Engineering):
  • Chương 9: AI Hiệu quả (Efficient AI): Thảo luận về yêu cầu cấp bách của hiệu quả, định nghĩa hiệu suất hệ thống, Quy luật Tỷ lệ (AI Scaling Laws) và Khung Hiệu suất Đa Chiều.
  • Chương 10: Tối ưu hóa Mô hình (Model Optimizations): Trình bày các phương pháp tối ưu hóa mô hình như Pruning, Knowledge Distillation, Quantization (Lượng tử hóa) và Neural Architecture Search (NAS).
  • Chương 11: Tăng tốc AI (AI Acceleration): Tập trung vào tăng tốc phần cứng, sự phát triển của chuyên môn hóa phần cứng, các phép tính AI cơ bản (Vector, Matrix), Hệ thống Bộ nhớ AI và Tối ưu hóa Luồng dữ liệu.
  • Chương 12: Đánh giá Hiệu năng AI (Benchmarking AI): Thiết lập khung đánh giá hiệu năng, các loại đánh giá (Micro, Macro, End-to-End), và so sánh giữa huấn luyện và suy luận, bao gồm cả tiêu chuẩn MLPerf.
• Phần IV: Triển khai Mạnh mẽ (Robust Deployment):
  • Chương 13: Vận hành ML (ML Operations - MLOps): Giới thiệu về MLOps, xử lý nợ kỹ thuật, tự động hóa cơ sở hạ tầng, các vai trò và trách nhiệm trong sản xuất, và khung trưởng thành của hệ thống.
  • Chương 14: Học tập trên Thiết bị (On-Device Learning): Khám phá mô hình học tập phân tán, các giới hạn thiết kế (tài nguyên, dữ liệu), thích ứng mô hình, và Học tập Liên bang (Federated Learning).
  • Chương 15: Bảo mật & Quyền riêng tư (Security & Privacy): Đề cập đến các khái niệm nền tảng, các vector tấn công cụ thể của mô hình (Model Theft, Data Poisoning, Adversarial Attacks) và phòng thủ toàn diện.
  • Chương 16: AI Mạnh mẽ (Robust AI): Phân tích các lỗi trong thế giới thực, Khung thống nhất cho AI Mạnh mẽ (Robust AI), lỗi phần cứng (Hardware Faults), thao túng đầu vào có chủ ý và các công cụ đánh giá độ mạnh mẽ.
• Phần V: Hệ thống Đáng tin cậy (Trustworthy Systems):
  • Chương 17: AI có Trách nhiệm (Responsible AI): Đề cập đến các nguyên tắc cốt lõi (Minh bạch/Khả năng giải thích, Công bằng, Quyền riêng tư, An toàn/Độ mạnh mẽ, Trách nhiệm giải trình) và những thách thức triển khai trong các hệ thống xã hội-kỹ thuật.
  • Chương 18: AI Bền vững (Sustainable AI): Phân tích cuộc khủng hoảng bền vững trong AI, đo lường và đánh giá tác động môi trường (Dấu chân Carbon, Nước, Chất thải), và các giải pháp triển khai.
  • Chương 19: AI vì Cộng đồng (AI for Good): Thảo luận về việc triển khai AI đáng tin cậy trong các lĩnh vực như Y tế, Nông nghiệp, Ứng phó Thảm họa dưới các ràng buộc khắc nghiệt về tài nguyên, và Khung mẫu Thiết kế.
• Phần VI: Các Khía cạnh Tiên phong (Frontiers):
  • Chương 20: Hệ thống AGI (AGI Systems): Xem xét con đường từ AI chuyên biệt đến Trí tuệ Tổng quát (AGI), Khung Hệ thống AI Hợp chất (Compound AI Systems), các kiến trúc thay thế, và các rào cản kỹ thuật còn lại.
  • Chương 21: Kết luận (Conclusion): Tổng hợp các nguyên tắc Kỹ thuật Hệ thống ML và định hướng tương lai.

Cuốn sách cung cấp một cái nhìn toàn diện, có hệ thống về các nguyên tắc kỹ thuật cần thiết để xây dựng và triển khai các hệ thống Học máy một cách đáng tin cậy và hiệu quả.