論文の概要: MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
- arxiv url: http://arxiv.org/abs/2505.18614v2
- Date: Thu, 05 Jun 2025 04:48:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 16:56:39.507751
- Title: MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
- Title（参考訳）: MAVL: アニメーション翻訳のための多言語音声・ビデオ歌詞データセット
- Authors: Woohyun Cho, Youngmin Kim, Sunghyun Lee, Youngjae Yu,
- Abstract要約: 歌声翻訳のためのマルチリンガル・マルチモーダル・ベンチマークであるMAVL(Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation)を紹介する。
本稿では,Syllable-Constrained Audio-Video LLM with Chain-of-Thought SylAVL-CoTを提案する。
実験結果から,SylAVL-CoTはテキストベースモデルよりも歌声性や文脈精度が優れていた。
- 参考スコア（独自算出の注目度）: 21.45108062752738
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lyrics translation requires both accurate semantic transfer and preservation of musical rhythm, syllabic structure, and poetic style. In animated musicals, the challenge intensifies due to alignment with visual and auditory cues. We introduce Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation (MAVL), the first multilingual, multimodal benchmark for singable lyrics translation. By integrating text, audio, and video, MAVL enables richer and more expressive translations than text-only approaches. Building on this, we propose Syllable-Constrained Audio-Video LLM with Chain-of-Thought SylAVL-CoT, which leverages audio-video cues and enforces syllabic constraints to produce natural-sounding lyrics. Experimental results demonstrate that SylAVL-CoT significantly outperforms text-based models in singability and contextual accuracy, emphasizing the value of multimodal, multilingual approaches for lyrics translation.
- Abstract（参考訳）: 歌詞翻訳には正確な意味伝達と音楽リズム、シラバス構造、詩的なスタイルの保存が必要である。
アニメーションミュージカルでは、視覚的および聴覚的手がかりとの整合性により、課題が強化される。
歌声翻訳のためのマルチリンガル・マルチモーダル・ベンチマークであるMAVL(Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation)を紹介する。
テキスト、オーディオ、ビデオを統合することで、MAVLはテキストのみのアプローチよりもリッチで表現力豊かな翻訳を可能にする。
そこで我々は,Syllable-Constrained Audio-Video LLM with Chain-of-Thought SylAVL-CoTを提案する。
実験結果から,SylAVL-CoTは,歌詞翻訳における多モーダル・多言語的アプローチの価値を強調し,歌声性や文脈的精度においてテキストベースモデルよりも有意に優れていた。
関連論文リスト
- FlowDubber: Movie Dubbing with LLM-based Semantic-aware Learning and Flow Matching based Voice Enhancing [78.83988199306901]
Movie Dubbingは、スクリプトを、時間的および感情的な両方の面において、所定の映画クリップと整合するスピーチに変換することを目的としている。
既存の手法は、リップシンクと音響品質の重要性を無視しながら、単語エラー率の低減に重点を置いている。
本研究では,大言語モデルと二重コントラスト整合を組み込むことで,高品質な音声・視覚同期と発音を実現するFlowDubberを提案する。
論文 参考訳（メタデータ） (2025-05-02T13:30:19Z) - DTVLT: A Multi-modal Diverse Text Benchmark for Visual Language Tracking Based on LLM [23.551036494221222]
我々は,VLTとSOTの5つのベンチマークに基づいて,多種多様なテキストを用いた新しい視覚言語追跡ベンチマークDTVLTを提案する。
セマンティック情報の範囲と密度を考慮して、ベンチマークで4つのテキストを提供する。
我々はDTVLTの総合的な実験分析を行い、多種多様なテキストが追跡性能に与える影響を評価する。
論文 参考訳（メタデータ） (2024-10-03T13:57:07Z) - MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions [69.9122231800796]
MMTrailは,2000万回以上のトレーラークリップと視覚的キャプションを組み込んだ大規模マルチモーダルビデオ言語データセットである。
本稿では,27.1k時間以上のトレーラービデオで様々なモダリティアノテーションを実現するシステムキャプションフレームワークを提案する。
我々のデータセットは、大きめのマルチモーダル言語モデルトレーニングのためのパスを舗装する可能性がある。
論文 参考訳（メタデータ） (2024-07-30T16:43:24Z) - Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。
音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。
提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
論文 参考訳（メタデータ） (2023-08-03T15:47:04Z) - LyricWhiz: Robust Multilingual Zero-shot Lyrics Transcription by Whispering to ChatGPT [48.28624219567131]
リリックウィズ(LyricWhiz)は、頑健で、多言語で、ゼロショットの自動歌詞書き起こし方式である。
我々は、弱教師付き頑健な音声認識モデルであるWhisperと、今日の最もパフォーマンスの高いチャットベースの大規模言語モデルであるGPT-4を使用している。
実験の結果,LyricWhizは英語の既存手法に比べて単語誤り率を大幅に低下させることがわかった。
論文 参考訳（メタデータ） (2023-06-29T17:01:51Z) - Translate the Beauty in Songs: Jointly Learning to Align Melody and
Translate Lyrics [38.35809268026605]
本稿では,自動翻訳の総合解として,Lyrics-Melody Translation with Adaptive Grouping (LTAG)を提案する。
これは、ソース歌詞を同時に翻訳し、各デコードステップでアライメントノートの数を決定することができる、新しいエンコーダ/デコーダフレームワークである。
英語と中国語の歌の翻訳データセットで行った実験は、自動評価と人的評価の両方において、我々のモデルの有効性を示した。
論文 参考訳（メタデータ） (2023-03-28T03:17:59Z) - TVLT: Textless Vision-Language Transformer [89.31422264408002]
テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。
TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。
その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
論文 参考訳（メタデータ） (2022-09-28T15:08:03Z) - Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining
and Speech Translation [21.622039537743607]
本稿では,FAT-MLM(Fused Acoustic and Text Masked Language Model)を提案する。
3つの翻訳方向の実験により,FAT-MLMから微調整した音声翻訳モデルが翻訳品質を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-02-10T22:53:40Z) - "Listen, Understand and Translate": Triple Supervision Decouples
End-to-end Speech-to-text Translation [49.610188741500274]
エンドツーエンドの音声テキスト翻訳(ST)は、ソース言語で音声を取り、ターゲット言語でテキストを出力する。
既存の方法は並列コーパスの量によって制限される。
並列STコーパスで信号を完全に活用するシステムを構築した。
論文 参考訳（メタデータ） (2020-09-21T09:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。