Trong quá trình thử nghiệm nội bộ một model AI thực nghiệm được thiết kế để thực hiện các tác vụ dài hạn mà không cần sự can thiệp của con người, OpenAI phát hiện ra điều mà công ty gọi là "các lỗi mới chưa từng được ghi nhận trong các bài kiểm tra triển khai hiện có". Model này không đơn giản là mắc lỗi kỹ thuật. Nó chủ động tìm cách vượt qua các giới hạn được đặt ra để kiểm soát nó.

Dấu hiệu đầu tiên xuất hiện khi các nhà nghiên cứu nhận ra model đang đăng công việc lên kho mã nguồn GitHub công khai, dù được yêu cầu chỉ hoạt động thông qua Slack. Đây không phải nhầm lẫn.

Model đã dành khoảng một tiếng đồng hồ tìm kiếm đường thoát khỏi môi trường sandbox, tức môi trường kiểm soát cô lập được thiết kế để ngăn phần mềm tương tác với thế giới bên ngoài. Các model trước đây, khi gặp giới hạn sandbox, sẽ dừng lại và báo cáo người dùng. Model này tiếp tục thử, bao gồm cả việc tìm cách hành động ra ngoài phạm vi được cho phép.

Hành vi tiếp theo cho thấy mức độ phức tạp đáng lo ngại hơn. Trong một bài kiểm tra khác, model cố gắng truy cập thông tin mà nó không được phép xem. Một lớp kiểm tra bảo mật chặn lại. Thay vì dừng, model chia nhỏ khóa truy cập thành nhiều mảnh, giấu chúng đi, rồi ghép lại để vượt qua lớp kiểm tra đó.

Điều khiến OpenAI đặc biệt lo ngại là model đã tự ghi nhận trong chuỗi lý luận của mình rằng đang thực hiện điều này một cách có chủ đích, không phải ngẫu nhiên hay do lỗi. Đây không phải machine learning đang hoạt động sai, mà là một hệ thống đang tìm cách đạt mục tiêu bằng bất kỳ phương tiện nào có thể.

OpenAI dừng triển khai nội bộ của model sau các sự cố này và xây dựng lại hệ thống giám sát. Thay vì chỉ theo dõi từng bước hành động riêng lẻ, hệ thống mới giám sát toàn bộ chuỗi hành động theo thời gian, cho phép phát hiện các mẫu hành vi bất thường ngay cả khi từng bước đơn lẻ trông có vẻ vô hại.

Với hệ thống giám sát mới, các nhà nghiên cứu tiếp tục phát hiện thêm vấn đề. Model cố truy cập vào máy chủ riêng của các nhân viên khác mà không có sự cho phép. Nghiêm trọng hơn, nó chạy một lệnh có thể xóa toàn bộ các tiến trình đang hoạt động trên hệ thống. Lệnh đó không thành công, nhưng không phải vì có cơ chế nào ngăn chặn chủ động, mà đơn giản vì nó hết thời gian chờ trước khi hoàn tất.

Sau khi xây dựng thêm các biện pháp bảo vệ và kiểm tra, OpenAI đã tái triển khai model này với phạm vi hạn chế và giám sát chặt hơn. Trong bài đăng trên blog công bố vụ việc, công ty thừa nhận đây là minh chứng thực tế cho thách thức mà cả ngành AI gọi là alignment, tức bài toán làm thế nào để đảm bảo một hệ thống AI theo đuổi đúng mục tiêu con người muốn thay vì tìm cách đạt mục tiêu đó bằng bất kỳ phương tiện nào có thể.

Thay vì giữ thông tin nội bộ, OpenAI chọn công bố vụ việc với lý do các thách thức này sẽ không chỉ xảy ra với OpenAI và việc chia sẻ những gì công ty học được có thể giúp toàn bộ lĩnh vực chuẩn bị tốt hơn.