Sinh viên Phạm Anh Tiến (thứ hai, bên trái ảnh) và Nguyễn Phương Anh (ngoài cùng, bên trái ảnh) đạt giải Nhất tại hội nghị Sinh viên nghiên cứu khoa học cấp Trường. Nguồn: uet.vnu.edu.vn

Trong danh sách bốn tác giả của một công trình được công bố tại CVPR 2026, Nguyễn Phương Anh, sinh viên Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, đứng tên đầu. Ở cuối danh sách là ThS. Nguyễn Thị Cẩm Vân, giảng viên đồng hướng dẫn và tác giả liên hệ của bài báo.

Giữa hai vị trí ấy là một hành trình nghiên cứu bắt đầu từ câu hỏi gần với thực tế hơn phòng thí nghiệm: một mô hình trí tuệ nhân tạo sẽ học ra sao nếu âm thanh, hình ảnh và văn bản không bị thiếu theo tỷ lệ giống nhau?

Cùng sinh viên Phạm Anh Tiến, TS. Lê Đức Trọng và ThS. Nguyễn Thị Cẩm Vân, Nguyễn Phương Anh đã phát triển BALM, một mô-đun giúp điều chỉnh sự mất cân bằng trong quá trình huấn luyện AI đa phương thức. Công trình không phải sản phẩm thương mại, nhưng đã có phương pháp cụ thể, kết quả thử nghiệm trên hai bộ dữ liệu chuẩn và mã nguồn được công bố để cộng đồng kiểm tra.

Câu hỏi xuất hiện khi dữ liệu không còn hoàn hảo

AI đa phương thức được huấn luyện để kết hợp nhiều loại thông tin. Trong nhận diện cảm xúc, hệ thống có thể đồng thời phân tích giọng nói, biểu cảm khuôn mặt và nội dung câu chữ trước khi đưa ra dự đoán.

Nhiều thí nghiệm về dữ liệu không đầy đủ được thiết kế với giả định mỗi phương thức có cùng xác suất bị thiếu. Điều đó tạo ra môi trường tương đối cân bằng, nhưng chưa phản ánh hết tình huống camera bị che, micro thường xuyên lẫn tạp âm hoặc một phần văn bản không thể thu thập.

Đề tài đạt giải Nhất "Sinh viên Nghiên cứu Công nghệ" của Trường Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội. Nguồn: uet.vnu.edu.vn

Theo thông tin của Trường Đại học Công nghệ, Nguyễn Phương Anh và Phạm Anh Tiến đặt câu hỏi liệu AI có thể duy trì khả năng hoạt động khi dữ liệu không còn đầy đủ. Nhóm hướng tới việc cải thiện độ ổn định của quá trình học, thay vì giả định mọi nguồn thông tin luôn sẵn có.

Trong bài báo BALM tại CVPR 2026, nhóm gọi tình huống nghiên cứu là “tỷ lệ thiếu không cân bằng”, viết tắt là IMR. Mỗi phương thức có một xác suất vắng mặt khác nhau ngay từ giai đoạn huấn luyện.

Sự khác biệt này ảnh hưởng đến cách mô hình học. Nguồn dữ liệu xuất hiện thường xuyên có thể tạo ra nhiều tín hiệu cập nhật hơn và dần chi phối mô hình, trong khi những nguồn ít xuất hiện nhận được ít cơ hội học hơn.

Hai nữ thành viên ở những vị trí có thể kiểm chứng

Bài báo liệt kê Nguyễn Phương Anh ở vị trí tác giả đầu và ThS. Nguyễn Thị Cẩm Vân là tác giả liên hệ. Đây là căn cứ cụ thể để ghi nhận vai trò của hai nữ thành viên, nhưng không nên biến công trình chung thành thành quả của riêng một cá nhân.

Nguyễn Phương Anh cùng Phạm Anh Tiến trực tiếp theo đuổi đề tài từ giai đoạn sinh viên. Hai giảng viên TS. Lê Đức Trọng và ThS. Nguyễn Thị Cẩm Vân đồng hướng dẫn, tham gia lựa chọn giải pháp cho bài toán nghiên cứu và cùng đứng tên bài báo.

Đề tài trước đó giành giải Nhất tại Hội nghị Sinh viên nghiên cứu khoa học cấp Trường và được lựa chọn tham dự Giải thưởng Sinh viên nghiên cứu khoa học cấp Bộ năm 2026. Kết quả tiếp tục được phát triển thành công trình “BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates”, được nhận đăng tại CVPR 2026.

Trường hợp của Nguyễn Phương Anh cho thấy sinh viên nữ trong công nghệ không chỉ xuất hiện ở hoạt động học tập hay cuộc thi. Với vị trí tác giả đầu một bài báo có phương pháp, thử nghiệm và mã nguồn, đóng góp của cô gắn với một sản phẩm nghiên cứu có thể được đối chiếu.

BALM cân bằng quá trình học như thế nào

BALM gồm hai thành phần. Thành phần hiệu chỉnh đặc trưng FCM sử dụng thông tin tổng hợp từ các dữ liệu còn quan sát được để điều chỉnh biểu diễn của từng phương thức. Mục tiêu là hạn chế khoảng cách quá lớn giữa những mẫu có kiểu thiếu dữ liệu khác nhau.

Thành phần GRM can thiệp vào quá trình tối ưu. Nó theo dõi sự khác biệt giữa dự đoán riêng của âm thanh, hình ảnh hoặc văn bản với dự đoán đa phương thức, đồng thời xem xét độ lớn và hướng của gradient. Những tín hiệu này được sử dụng để giảm tình trạng một phương thức mạnh lấn át các phương thức còn lại.

Sinh viên Nguyễn Phương Anh  và Phạm Anh Tiến  chụp ảnh cùng giảng viên hướng dẫn ThS. Nguyễn Thị Cẩm Vân (ngoài cùng, bên phải ảnh) tại hội nghị Sinh viên nghiên cứu khoa học cấp Trường. Nguồn : uet.vnu.edu.vn

Các con số không tăng trong mọi trường hợp. Một số cấu hình ghi nhận mức giảm nhẹ. Khi mô hình chỉ còn tín hiệu hình ảnh trên IEMOCAP, chất lượng của dữ liệu hình ảnh và đặc điểm kiến trúc nền có thể làm kết quả đi xuống. Trong thử nghiệm thiếu dữ liệu nghiêm trọng trên CMU-MOSEI, chỉ số F1 có trường hợp thấp hơn mức trung bình đối chứng 0,70 điểm phần trăm.

Vì vậy, chưa thể nói BALM đã giải quyết hoàn toàn vấn đề dữ liệu thiếu của AI. Điểm có thể ghi nhận là phương pháp cải thiện đa số cấu hình được khảo sát và tạo ra một cách tiếp cận có thể tiếp tục kiểm tra trên những mô hình khác.

Thành quả nghiên cứu chưa phải sản phẩm hoàn chỉnh

Nhóm UET cho biết mục tiêu hiện tại chưa phải thương mại hóa. Một thành viên dự kiến tiếp tục phát triển hướng nghiên cứu trong khóa luận tốt nghiệp; dữ liệu, mã nguồn và kinh nghiệm cũng được nhóm chia sẻ để các sinh viên sau có thể kế thừa.

Giới hạn lớn nhất là các thí nghiệm vẫn được tiến hành trên bộ dữ liệu chuẩn, với phần dữ liệu bị thiếu được mô phỏng bằng thao tác che. BALM chưa được đánh giá trên dữ liệu thiếu phát sinh tự nhiên từ bệnh viện, phương tiện tự hành, robot hay hệ thống giám sát đang vận hành.

TS. Lê Đức Trọng cũng xác định kết quả mới ở giai đoạn nghiên cứu thử nghiệm trên các bộ dữ liệu quy mô nhỏ. Nhóm cần tiếp tục đánh giá và tối ưu trước khi có thể phát triển thành một ứng dụng hoàn chỉnh.