Live Portrait AI: Hồi sinh hình ảnh tĩnh thành video sống động

Bạn muốn biến những bức ảnh tĩnh của mình thành video sống động? Giờ đây, điều đó đã trở thành hiện thực với Live Portrait AI, một công nghệ tiên tiến cho phép ghép khuôn mặt ảnh tĩnh vào video một cách mượt mà và ấn tượng.

Live Portrait AI là gì?

• Live Portrait AI là một công nghệ AI tiên tiến cho phép bạn biến những bức ảnh tĩnh thành video sống động. Nói cách khác, Live Portrait AI có thể ghép khuôn mặt của bạn (hoặc bất kỳ ai khác) từ một bức ảnh vào video, khiến họ trông như đang chuyển động và nói chuyện một cách chân thực.

• Hãy tưởng tượng bạn có một bức ảnh hoạt hình, giờ đây, bạn có thể dùng Live Portrait AI để tạo ra video họ cười, nói chuyện, hoặc thậm chí là hát một bài hát yêu thích.
• Công nghệ này cực kỳ ấn tượng bởi khả năng “hồi sinh” hình ảnh tĩnh và biến chúng thành video chân thực, mở ra nhiều khả năng sáng tạo cho cá nhân và ngành công nghiệp.

Hiệu quả cao, video cực kỳ chân thực

• Khác với các phương pháp khuếch tán phổ biến, Live Portrait AI sử dụng khung implicit-keypoint-based hiệu quả. Nền tảng này mang đến sự cân bằng hoàn hảo giữa hiệu quả tính toán và khả năng kiểm soát.
• Nhờ đó, Live Portrait AI tạo ra các video dựng hình chân dung sống động với khả năng tổng quát hóa, kiểm soát và hiệu quả cao cho mục đích sử dụng thực tế.

Khả năng tổng quát

• Để nâng cao chất lượng và khả năng tổng quát hóa của Live Portrait AI, nhóm phát triển đã sử dụng 69 triệu khung hình chất lượng cao cho quá trình huấn luyện, áp dụng chiến lược huấn luyện kết hợp hình ảnh và video, nâng cấp kiến trúc mạng, đồng thời thiết kế các mục tiêu tối ưu hóa và chuyển đổi chuyển động hiệu quả hơn.

Khả năng điều chỉnh “cơ mặt”

• Ngoài ra, Live Portrait AI còn phát hiện ra rằng các điểm ẩn (implicit keypoints) nhỏ gọn có thể đại diện hiệu quả cho các loại “blendshape” (hình dạng pha trộn).
• Bằng việc sử dụng mạng MLP (Multilayer Perceptron) với lượng tài nguyên tính toán tối thiểu, Live Portrait AI cung cấp các mô-đun ghép nối (stitching) và hai mô-đun tái định hướng (retargeting), cho phép người dùng điều khiển chính xác diện mạo của video.

Hiệu quả vượt trội

Kết quả thử nghiệm cho thấy Live Portrait AI mang lại hiệu quả vượt trội so với các phương pháp dựa trên khuếch tán. Tốc độ tạo video lên đến 12.8ms trên GPU RTX 4090 với PyTorch, giúp tiết kiệm thời gian và nâng cao hiệu quả làm việc.

• Mã nguồn và mô hình: https://github.com/KwaiVGI/LivePortrait
• Công nghệ: LivePortrait AI ứng dụng công nghệ học sâu tiên tiến (Deep Learning) và mạng nơ-ron (Neural network).

Hướng dẫn sử dụng Live Portrait AI “demo”

• Bạn có thể sử dụng free nếu bạn có GPU ở máy tính. Tải mã nguồn này ở git: https://github.com/KwaiVGI/LivePortrait
• Tuy nhiên, bạn có thể sử dụng demo ở trang: Huggingface.co
• Cột bên trái sẽ up ảnh tĩnh, bên phải sẽ là video khuôn mặt cần ghép nhé.

Cuồi cùng ta được kết quả, rất đơn giản phải không nào!