Data Scientist tập trung vào nghiên cứu/thử nghiệm mô hình (từ dữ liệu tới model tốt nhất), còn ML Engineer tập trung vào đưa model đó vào sản xuất ổn định, có thể mở rộng, và duy trì lâu dài — MLOps chính là bộ kỹ năng thể hiện rõ ranh giới này.
MLOps áp dụng nguyên tắc DevOps (CI/CD, monitoring, automation) vào vòng đời machine learning — nhưng có thêm độ phức tạp riêng: không chỉ code thay đổi mà cả DỮ LIỆU và MODEL cũng thay đổi theo thời gian, cần quản lý version cho cả 3 thứ này.
"Model drift là gì, làm sao phát hiện?" — Hiệu suất model suy giảm theo thời gian vì phân phối dữ liệu thực tế thay đổi so với lúc training (data drift) hoặc mối quan hệ giữa input-output thay đổi (concept drift). Phát hiện bằng cách giám sát liên tục các metric performance trên dữ liệu production, so sánh phân phối input hiện tại với dữ liệu training.
"Làm sao đảm bảo tái lập được (reproducibility) kết quả training?" — Version control cho code, dữ liệu (data versioning — công cụ như DVC), và cả hyperparameter/random seed — thiếu bất kỳ phần nào cũng khiến không tái tạo lại được chính xác kết quả cũ khi cần debug hoặc audit.
"Batch prediction và real-time prediction khác nhau thế nào, khi nào dùng cái nào?" — Batch prediction xử lý hàng loạt theo lịch (vd. tính điểm rủi ro tín dụng mỗi đêm) — đơn giản hơn, chi phí thấp hơn. Real-time prediction trả kết quả ngay khi có request (vd. gợi ý sản phẩm khi user duyệt web) — cần hạ tầng serving riêng, độ trễ thấp, phức tạp hơn nhiều để vận hành ổn định.
"Canary deployment cho model nghĩa là gì?" — Triển khai model mới cho 1 phần nhỏ traffic trước (vd. 5%), so sánh hiệu suất với model cũ, chỉ mở rộng dần nếu kết quả tốt — giảm rủi ro khi model mới có vấn đề không phát hiện được lúc offline evaluation.
MLflow/Weights & Biases cho experiment tracking, Feature Store (Feast, Tecton) để đảm bảo feature nhất quán giữa training và serving (tránh training-serving skew — lỗi kinh điển khi feature tính khác nhau giữa 2 môi trường), và các nền tảng orchestration (Kubeflow, Airflow) cho pipeline tự động.
Kể 1 pipeline ML thật đã xây dựng end-to-end: từ thu thập dữ liệu, training, evaluation, tới deployment và giám sát — nhấn mạnh phần bạn đã tự động hoá để giảm công sức thủ công lặp lại, đây chính là giá trị cốt lõi ML Engineer mang lại so với chỉ chạy notebook thủ công.