Sony Menggunakan Machine Learning dalam Empat Film Animasi untuk Mempercepat Proses Lip-Syncing

Sony telah membagikan dalam Laporan Perusahaan tahun 2025 bahwa mereka telah mengimplementasikan machine learning, sebagai subbidang dari kecerdasan buatan, untuk mengembangkan mesin sinkronisasi bibir otomatis yang digunakan dalam produksi anime. Teknologi ini telah digunakan sejak tahun 2021 untuk empat seri anime, yang terakhir adalah Utano ☆ Princesama TABOO NIGHT XXXX, yang dirilis pada bulan Mei 2025. Laporan dari Sony diterbitkan pada tanggal 12 September, mencakup perkembangan antara 1 April 2024 dan 31 Maret 2025, dengan beberapa informasi terkait tanggal 12 September juga dimasukkan.

IBM menjelaskan bahwa machine learning adalah “subbidang kecerdasan buatan (AI) yang berfokus pada algoritma yang dapat ‘belajar’ pola dari data pelatihan dan kemudian membuat inferensi akurat tentang data baru. Kemampuan pengenalan pola ini memungkinkan model machine learning untuk membuat keputusan atau prediksi tanpa instruksi yang eksplisit dan tertulis.”

Pada bulan Maret 2025, Tech4Gamers melaporkan tentang paten Sony yang mungkin terkait dengan teknologi yang sama. Paten dengan nomor aplikasi 2025-046683, yang diajukan pada Agustus 2023 dan saat ini dalam tahap peninjauan di Jepang, mendeskripsikan sistem yang memproses file asal (audio/teks) dan versi terjemahan, kemudian membagi setiap file menjadi fonem yang sesuai dengan gerakan bibir. Fonem adalah satu suara yang berbeda dalam bahasa. Dengan kata lain, sistem ini menampilkan gerakan bibir berdasarkan suara yang dihasilkan. Selanjutnya, mesin menentukan panjang setiap fonem dalam file dan dapat menghasilkan skor kesamaan berdasarkan seberapa baik urutan bentuk bibir yang baru sesuai dengan bentuk bibir pada file asal.

Karena ada beberapa cara untuk menterjemahkan suara ke bahasa lain, beberapa kandidat terjemahan mungkin memiliki skor kesamaan yang lebih baik dengan aslinya dalam hal gerakan bibir. Hal ini membantu dalam membuat keputusan terjemahan, mengurangi “ketidaknyamanan bagi pemain game dan penonton video,” kata Sony. Dalam contoh anime, machine learning dapat digunakan untuk meningkatkan kemampuan mesin Sony dalam memetakan suara dengan gerakan bibir dan memberikan saran gerakan bibir ideal bagi animator sebagai acuan.

Sony juga menambahkan dalam laporannya bahwa mereka “memosisikan AI sebagai katalisator transformasi positif dan mitra kreativitas, dengan keyakinan bahwa AI harus mendukung manusia. Kami sangat menghargai upaya kami untuk memaknai dan memanfaatkan AI secara bijak, serta mengatasi risiko seperti pelanggaran hak cipta, privasi, dan etika.” Mereka juga menjelajahi penggunaan generative AI untuk meningkatkan produktivitas dan menjadi “titik awal untuk meningkatkan kreativitas.”

Bekerja sama dengan Aniplex’s A-1 Pictures dan CloverWorks, Sony sedang mengembangkan teknologi AI untuk pewarnaan anime. Ini menambah perusahaan produksi lainnya seperti OLM Digital, yang menjelaskan generative AI sebagai “pendukung,” dan Toei Animation, yang memvisualkan AI untuk storyboard, pewarnaan, in-betweening, dan latar belakang.

Anime Corner melaporkan bahwa perusahaan produksi anime berbasis AI, Creator’s X, telah mengajukan merek dagang untuk “AIアニメ” dan “AIアニメーション” (“AI anime” dan “AI animasi”) pada awal tahun ini. Creator’s X juga mengakuisisi studio Gaina (Grendizer U) pada bulan Agustus. Frontier Works, yang ikut memproduksi judul seperti Higurashi When They Cry dan The Wrong Way to Use Healing Magic, juga ikut memproduksi seri anime bertahan AI Twins Hinahima tahun ini.

Data riset terbaru menunjukkan bahwa teknologi AI dalam produksi anime terus berkembang dengan pesat. Studi kasus seperti pengembangan mesin sinkronisasi bibir oleh Sony dan penggunaan generative AI oleh perusahaan lain menunjukkan bahwa AI bukan hanya mendukung tetapi juga menginspirasi inovasi dalam industri anime. Infografis tentang penerapan AI dalam anime dapat membantu visualisasi perkembangan ini dengan lebih jelas, menunjukkan bagaimana teknologi berperan dalam meningkatkan kualitas dan efisiensi produksi.

Dalam industri anime yang terus berkembang, AI menjadi alat yang tak terelakkan. Ketika teknologi ini terus berkembang, kita dapat mengharapkan lebih banyak inovasi yang akan mengubah cara anime dibuat dan dinikmati. Mari kita dukung dan manfaatkan AI dengan bijak untuk mencapai kreativitas yang tak terbatas.

Baca juga Anime lainnya di Info Anime & manga terbaru.