Một công cụ EU AI Checker mới được Liên minh Châu Âu (EU) ra mắt, đã chỉ ra rằng nhiều mô hình trí tuệ nhân tạo hàng đầu chưa đáp ứng đầy đủ các quy định của EU, đặc biệt là trong các lĩnh vực quan trọng như an ninh mạng và ngăn ngừa kết quả phân biệt đối xử.
Cùng RG66 News tìm hiểu chi tiết về công cụ kiểm tra công nghệ AI này, đồng thời đánh giá thái độ của các tổ chức với công nghệ này. Đừng bỏ lỡ!
EU AI Checker là gì?
EU AI Checker là một công cụ mới đã được sử dụng để kiểm tra các mô hình AI của các công ty công nghệ lớn như Meta và OpenAI. Công cụ này hoạt động theo Đạo luật AI của EU, dự kiến sẽ được triển khai dần dần trong hai năm tới.
Công cụ Compl-AI là một framework mã nguồn mở được phát triển bởi công ty khởi nghiệp LatticeFlow AI của Thụy Sĩ, hợp tác với ETH Zurich và viện INSAIT của Bulgaria. Compl-AI đánh giá các mô hình AI với thang điểm từ 0 đến 1, trên các tiêu chí như độ bền kỹ thuật và tính an toàn.
Vào tháng 12, các nhà đàm phán EU đã đạt được một thỏa thuận lịch sử về quy định AI toàn diện đầu tiên trên thế giới. Luật này chính thức có hiệu lực từ tháng 8, tuy nhiên, một số điều khoản vẫn đang được hoàn thiện. Các điều khoản sẽ dần được áp dụng cho các nhà phát triển ứng dụng và mô hình AI, đồng nghĩa với việc thời gian tuân thủ quy định đã bắt đầu.
Cùng tìm hiểu EU AI Checker đã kiểm tra và đánh giá các công nghệ AI lớn như nào qua phần thông tin dưới đây.
Kết quả đánh giá các công nghệ AI lớn của EU AI Checker
Theo đó, những cái tên nằm trong danh sách kiểm tra của EU AI Checker bao gồm:
- Large Language Model (LLM) Checker của LatticeFlow
- Claude 3 Opus của Anthropic
- GPT-3.5 Turbo của OpenAI
- Qwen1.5 72B Chat của Alibaba
- Llama 2 13B Chat của Meta
- Mistral’s 8x7B Instruct
Theo bảng xếp hạng do LatticeFlow công bố hôm 16 tháng 10, các mô hình của Alibaba, Anthropic, OpenAI, Meta, và Mistral đạt điểm trung bình từ 0.75 trở lên. Tuy nhiên, Large Language Model (LLM) Checker của LatticeFlow cũng xác định những điểm yếu trong một số mô hình, cho thấy các công ty có thể cần phân bổ thêm tài nguyên để đảm bảo tuân thủ quy định.
Framework này kiểm tra phản hồi của LLM qua 27 tiêu chí, bao gồm các hạng mục như “hoàn thành văn bản không độc hại,” “trả lời thiên kiến,” “tuân theo chỉ dẫn có hại,” “tính chính xác,” và “khả năng suy luận thông thường.” Điểm số của mô hình dựa trên từng tiêu chí thay vì tổng điểm chung.
Một số mô hình đạt điểm cao, ví dụ như Claude 3 Opus của Anthropic đạt 0.89. Tuy nhiên, một số khác gặp vấn đề nghiêm trọng, chẳng hạn GPT-3.5 Turbo của OpenAI chỉ đạt 0.46 ở hạng mục chống phân biệt đối xử, trong khi Qwen1.5 72B Chat của Alibaba chỉ đạt 0.37, thể hiện mối lo ngại về khuynh hướng nhân tạo liên quan đến giới tính và chủng tộc.
Trong các thử nghiệm về an ninh mạng, một số mô hình cũng chưa đạt yêu cầu. Ví dụ, Llama 2 13B Chat của Meta chỉ đạt 0.42 trong hạng mục “chiếm quyền kiểm soát lệnh” – một dạng tấn công mạng nhằm trích xuất thông tin nhạy cảm. Mistral’s 8x7B Instruct cũng có điểm thấp với chỉ 0.38.
Xem thêm: CANVA AI – CÔNG NGHỆ DREAM LAB CHUYỂN VĂN BẢN THÀNH HÌNH ẢNH
Đánh giá sự ủng hộ của công chúng với EU AI Checker
Trước sự lớn mạnh của các công nghệ AI thời đại bây giờ, công cụ EU AI Checker là một điểm sáng giúp đánh giá được hiệu quả cũng như sự tuân thủ quy định của các sản phẩm AI. Cùng xem những nhân vật lớn từ các tổ chức EU nhận định như nào.
Ông Thomas Regnier – phát ngôn viên Ủy ban Châu Âu
Ông Thomas Regnier, phát ngôn viên Ủy ban Châu Âu về kinh tế số, nghiên cứu và đổi mới, cho biết:
“Ủy ban Châu Âu hoan nghênh nghiên cứu này và nền tảng đánh giá mô hình AI như một bước tiến đầu tiên trong việc chuyển đổi Đạo luật AI EU thành các yêu cầu kỹ thuật, giúp các nhà cung cấp mô hình AI thực hiện Đạo luật AI.”
Giáo sư Martin Vechev – người sáng lập INSAIT
Giáo sư Martin Vechev của ETH Zurich, cũng là người sáng lập INSAIT, mời gọi cộng đồng nghiên cứu AI cùng tham gia vào dự án này:
“Chúng tôi khuyến khích các nhóm nghiên cứu khác đóng góp bằng cách tinh chỉnh quy định, bổ sung tiêu chuẩn đánh giá mới và mở rộng framework mã nguồn mở này. Phương pháp này cũng có thể được mở rộng để đánh giá các mô hình AI theo các quy định tương lai, trở thành một công cụ giá trị cho các tổ chức hoạt động trong nhiều khu vực pháp lý.”
Tiến sĩ Petar Tsankov – đồng sáng lập LatticeFlowAI
Tiến sĩ Petar Tsankov, đồng sáng lập LatticeFlow AI, phát biểu:
“Với framework này, mọi công ty đều có thể đánh giá hệ thống AI của mình dựa trên diễn giải kỹ thuật của Đạo luật AI EU. Mục tiêu của chúng tôi là giúp các tổ chức đảm bảo rằng hệ thống AI không chỉ hiệu quả mà còn phù hợp với các yêu cầu quy định.”
Kết luận
Bài viết đã mang đến cái nhìn chi tiết về EU AI Checker, công cụ mới của Liên minh Châu Âu để đánh giá các mô hình trí tuệ nhân tạo theo luật AI. Với việc kiểm tra các tiêu chí như an ninh mạng, chống thiên kiến và độ tin cậy, công cụ này giúp các công ty công nghệ hiểu rõ điểm mạnh và yếu của từng mô hình.
Qua đó, EU AI Checker cũng nhận được sự ủng hộ lớn từ công chúng. Theo dõi RG66 News để cập nhật nhiều thông tin mới hay ho nhất!
