Ngoài ra, 86 báo cáo khác cảnh báo về việc AI này bị lạm dụng để sản xuất nội dung liên quan đến lạm dụng trẻ em.

Phần mềm AI Gemini bị lạm dụng để tạo nội dung khủng bố giả mạo. Ảnh: Analyticsvidhya

Thông tin trên được Google gửi đến giới chức Australia, trong bối cảnh các cơ quan quản lý trên thế giới ngày càng siết chặt việc kiểm soát nội dung do AI tạo ra. Ủy ban An toàn Điện tử Australia đánh giá đây là "cái nhìn sâu sắc đầu tiên trên thế giới" về cách công nghệ AI có thể bị khai thác cho mục đích bất hợp pháp.

Ủy viên Julie Inman Grant của Ủy ban An toàn Điện tử Australia nhấn mạnh rằng sự việc này cho thấy tầm quan trọng của việc các công ty công nghệ phải xây dựng và kiểm tra chặt chẽ các biện pháp bảo vệ, nhằm ngăn chặn AI bị lạm dụng để tạo ra nội dung nguy hại.

Theo Google, công ty đã triển khai hệ thống hash-matching – một công nghệ tự động nhận diện và xóa bỏ hình ảnh lạm dụng trẻ em do Gemini tạo ra. Tuy nhiên, cơ quan quản lý Australia cho rằng Google vẫn chưa áp dụng biện pháp tương tự đối với nội dung khủng bố hoặc bạo lực cực đoan.

Luật pháp Australia yêu cầu các công ty công nghệ phải cung cấp định kỳ thông tin về nỗ lực giảm thiểu tác hại trực tuyến. Nếu không đáp ứng yêu cầu này, họ có thể đối mặt với các khoản phạt nặng.

Trước đó, Ủy ban An toàn Điện tử Australia đã xử phạt Telegram và X (Twitter) vì không cung cấp đầy đủ thông tin trong báo cáo của họ. X từng kháng cáo nhưng thất bại đối với khoản tiền phạt 610.500 AUD (khoảng 382.000 USD) và dự kiến sẽ tiếp tục kháng cáo. Telegram cũng có kế hoạch tương tự.

Người phát ngôn của Google khẳng định công ty không cho phép tạo hoặc phân phối nội dung liên quan đến khủng bố, bạo lực cực đoan, lạm dụng trẻ em hay các hoạt động bất hợp pháp khác.

"Chúng tôi cam kết mở rộng các nỗ lực để giúp người dân Australia và toàn cầu an toàn hơn trên môi trường trực tuyến", Google tuyên bố.

Kể từ khi ChatGPT của OpenAI trở nên phổ biến vào cuối năm 2022, nhiều quốc gia đã kêu gọi áp dụng các biện pháp kiểm soát chặt chẽ hơn để ngăn chặn việc AI bị lạm dụng vào các mục đích xấu, từ kích động khủng bố, gian lận đến sản xuất nội dung khiêu dâm deepfake.

Việc AI Gemini của Google bị lạm dụng đang đặt ra thách thức lớn cho ngành công nghệ, buộc các công ty phải nâng cao trách nhiệm trong việc phát triển và kiểm soát sản phẩm của mình.