Quản lý chất lượng trong ML
Thuộc tính chất lượng: công bằng, mạnh mẽ, dễ giải thích, minh bạch, thiên vị, độ tin cậy, an toàn, bảo trì trở nên quan trọng trong việc cung cấp một hệ thống AI
Các quan điểm chính trong quản lý chất lượng các dự án AI:
Quản lý yêu cầu
Hướng tiếp cận giải pháp AI có đúng mục tiêu của doanh nghiệp? Dữ liệu liên quan có đạt về chất lượng và số lượng không? Đã có kế hoạch để quản lý và đánh giá chất lượng dữ liệu?
Quản lý lỗi
Độ chính xác của mô hình có đạt kỳ vọng? Đã có phương án kiểm tra lỗi thuật toán và dữ liệu?
Quản lý thay đổi
Đã có phương án quản lý phiên bản dữ liệu và mô hình chưa? Đã có phương án truy vết hay ghi lại nhật ký mô hình trong thời gian triển khai?
Quản lý kiểm thử
Đã áp dụng phương pháp đánh giá chéo trong quá trình huấn luyện mô hình? Kết quả đánh giá có đạt kỳ vọng?
DevOps
Phiên bản mô hình có phù hợp với dữ liệu cho mỗi lần triển khai? Đã có khả năng chuẩn đoán sự khác nhau về hiệu năng mô hình sau những lần triển khai?
Quản lý hoạt động
Đã có phương án giám sát sự trôi lệch của mô hình? Đã có phương rollback khi mô hình gặp sự cố ?
Quản lý dự án
Đã có phương án quản lý vòng đời ứng dụng và vòng đời mô hình? Đã có chiến lược quản lý dữ liệu? Đã có chỉ số đánh giá kết quả kinh doanh đạt được khi áp dụng giải pháp AI? Đã có phương án bảo trì hạ tầng công nghệ trong suốt vòng đời của sản phẩm?
Các thành phần quan trọng trong việc tạo ứng dụng với một thành phần ML được triển khai trong mô hình (hình vuông tròn màu xám). Để đơn giản, các bước quy trình lặp lại không được hiển thị và chỉ các thuộc tính thành phần AI được nhấn mạnh.
Các thành phần không phải AI là: giao diện người dùng, phân tích truyền thống, báo cáo
Nhiệm vụ cải tiến chất lượng cho hệ thống ML:
Kiểm tra thủ công
Với sự hỗ trợ của các framework (Tensorflow, Pytorch,...), kiểm tra thủ công vẫn là một cách hiệu quả để tìm ra các lỗi trong yêu cầu, kiến trúc, thuật toán và mã. Kỹ thuật lập trình cặp đã được chứng minh là rất hữu ích trong thực tế.
Phân tích tĩnh
Kiểm tra cú pháp cơ bản, khi mã đang được viết.
Kiểm thử hộp trắng
Kiểm thử hộp trắng truyền thống là kiểm tra tính năng, luồng dữ liệu (logic code). Dễ hiểu là debug thuật toán trong quá trình phát triển VD: Kiểm tra mạng nơ-ron trong quá trình xây dựng mô hình để tìm ra các bottle neck trong mô hình
Kiểm thử hộp đen
Kiểm tra hộp đen truyền thống là một phương pháp kiểm thử tính năng không quan tâm đến logic code. Mục tiêu chính là đánh giá xem mô hình có tổng quát hóa cho dữ liệu chưa từng thấy trước đó hay không hoặc đề xuất làm lại mô hình, nếu không phù hợp. Phương pháp này này cũng áp dụng cho kiểm thử tích hợp hệ thống.
Đánh giá và kiểm tra Dữ liệu
Có một số kỹ thuật và công cụ để kiểm tra chất lượng của dữ liệu mô hình hóa trong quá trình phát triển. Ví dụ: các mẫu không mong muốn, dữ liệu không có cấu trúc giống như trước đó,...
Giám sát
Giám sát hiệu năng mô hình
Phát hiện lệch lạc đặc trưng: feature skew, model drift,...
Last updated