Google hợp tác làm 'siêu AI' Dreamix với khả năng tạo ra video từ văn bản

Các trí tuệ nhân tạo (AI) với mô hình khuếch tán như Stable Diffusion, là kiểu AI có khả năng tạo ra dữ liệu mới tương tự với dữ liệu được huấn luyện, đang rất được ưa chuộng gần đây, từ vẽ tranh cho đến soạn nhạc. Mới đây nhất thì đội ngũ thuộc Google Research và Đại học Do Thái Jerusalem đã bắt tay để tạo ra AI có thể làm video từ văn bản, dự án có tên là Dreamix.

Cả đội tóm tắt các bước tiếp cận như sau:

• Đề xuất phương pháp đầu tiên để chỉnh sửa chuyển động và ngoại quan dựa trên văn bản chung của các video trong thế giới thực.
• Đề xuất một mô hình tinh chỉnh hỗn hợp mới giúp cải thiện đáng kể chất lượng chỉnh sửa chuyển động.
• Trình bày một khuôn khổ mới cho hình ảnh hoạt hình có hướng dẫn bằng văn bản, bằng cách áp dụng phương pháp biên tập video của cả đội trên các hoạt động tiền xử lý hình ảnh đơn giản.
• Thể hiện khả năng tạo video theo chủ đề từ một bộ sưu tập hình ảnh, tận dụng thêm phương pháp tinh chỉnh mới lạ của họ.

Và Dreamix ra đời từ đó, có khả năng tạo ra video từ văn bản, với chuyển động được cố gắng làm mượt mà nhất. Trước tiên, Dreamix lấy mẫu xuống của video đầu vào và bổ sung nhiễu Gaussian. Sau đó, VDM sử dụng các chi tiết có độ phân giải thấp trong video đầu vào để tổng hợp thông tin có độ phân giải không gian thời gian cao, được hướng dẫn bởi văn bản và nâng cấp video lên độ phân giải cuối cùng.

Nhóm cũng áp dụng Dreamix để chỉnh sửa văn bản có điều kiện thành video,  thông qua một khuôn mẫu mới, có thể dùng để tạo ra văn bản có điều kiện cho video từ ảnh đầu vào.

Trong nghiên cứu thực nghiệm của họ, nhóm đã so sánh hiệu suất chỉnh sửa văn bản có điều kiện, hoạt ảnh và tạo video theo chủ đề với hai AI khác có tên là Imagen-Video và Plug-n-Play, bằng cách dùng 29 video YouTube và 127 lời nhắc văn bản khác nhau. Dreamix vượt trội trong các bài đánh giá, thể hiện khả năng chỉnh sửa video và hoạt ảnh hình ảnh “chưa từng có”.

Bạn thấy AI này thú vị không?

Bạn đọc có thể tham khảo điện thoại 5G chính hãng với giá ưu đãi tại Thế Giới Di Động để luôn cập nhật tin tức mới về công nghệ, bảo mật, smartphone,... Click vào nút cam dưới đây để xem chi tiết!

SẮM NGAY SMARTPHONE HỖ TRỢ 5G GIÁ TỐT

Nguồn: SyncedReview

Xem thêm:

• Microsoft chính thức cho phép thử nghiệm Bing tích hợp ChatGPT
• Không nên dùng ChatGPT nếu bạn không hiểu rõ điều này
• Google sẽ đưa chatbot trí tuệ nhân tạo Bard AI lên ChromeOS