論文の概要: Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

• arxiv url: http://arxiv.org/abs/2610.00825v1
• Date: Wed, 30 Sep 2026 23:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.804819
• Title: Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing
• Title（参考訳）: Align Then Reason: ダビングのマルチモーダルなリップシンク・ジャッジ
• Abstract要約: ダビング品質制御には、候補テキスト行が内容とタイミングの両方で話者の可視的明瞭度に一致するかどうかを判断できる参照フリーの判断が必要である。 我々は、まず、フレームレベルのリップ表現と候補行の音素単位とのモノトニックなアライメントを確立する多言語リップ同期判断器である$textit ThenAlign Reason$ (ATR)を紹介した。
• 参考スコア（独自算出の注目度）: 8.894659561020324
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dubbing quality control requires a reference-free judge that can determine whether a candidate text line matches a speaker's visible articulation in both content and timing, using only silent video and text because dubbed audio may not yet exist. Existing visual speech recognizers and video-language models are poorly suited to this setting: even when fine-tuned to recover spoken content from lip motion, they remain largely insensitive to temporal errors. We introduce $\textit{Align Then Reason}$ (ATR), a multilingual lip-sync judge that first establishes a monotonic alignment between frame-level lip representations and the phonetic units of the candidate line, then reasons over this alignment to make the final judgment. An alignment scorer provides the LLM with both local evidence for each phonetic unit and a calibrated global alignment score, enabling it to reason jointly about content and timing. On a seven-language benchmark, our method improves mean AUC over the corresponding Qwen3.5 SFT baselines by 59.4%, 50.2%, and 50.8% with 2B, 4B, and 9B reasoners, respectively. The gains generalize across LLM families, reaching mean AUC improvements of 45.9% and 46.6% over the best baseline for LLaMA-3.1-8B and Mistral-7B, respectively. They also transfer across datasets to three unseen MuAViC languages. Furthermore, we evaluate on two downstream tasks built from real dubbing lines. On dub-line reranking, ATR-9B outperforms the best lip-reading baseline by 52.0%, while on script-to-clip assignment, ATR-9B improves over the best lip-reading baseline by 17.7%.
• Abstract（参考訳）: ダビング品質制御には、候補のテキスト行がコンテンツとタイミングの両方で話者の可視的明瞭度に一致するかどうかを判断できるリファレンスフリーの判断器が必要である。 既存の視覚音声認識とビデオ言語モデルは、この設定にはあまり適していない: 口唇の動きから音声コンテンツを回復するよう微調整されたとしても、それらは時間的誤差にほとんど敏感なままである。 我々は、まず、フレームレベルのリップ表現と候補行の音声単位との単調なアライメントを確立し、このアライメントを理由として最終的な判断を行う多言語リップシンクジャイナである$\textit{Align Then Reason}$ (ATR)を紹介した。 アライメントスコアラは、LLMに各音素単位の局所的な証拠と校正されたグローバルアライメントスコアの両方を提供し、コンテンツとタイミングについて共同で推論することができる。 7言語ベンチマークでは,対応するQwen3.5 SFTベースラインに対して平均AUCを59.4%,50.2%,50.8%,2B,4B,9Bをそれぞれ改善した。 LLMファミリー全体での利得は、それぞれLLaMA-3.1-8BとMistral-7Bの最高のベースラインに対して平均45.9%と46.6%のAUC改善に達した。 また、データセットをまたいだ3つのMAViC言語に転送する。 さらに,実際のダビングラインから構築した2つの下流タスクを評価する。 ダブラインの再順位では、ATR-9Bは最高の唇読解ベースラインを52.0%上回り、スクリプトからクリップへの割り当てでは、ATR-9Bは最高の唇読解ベースラインを17.7%上回っている。

関連論文リスト

• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents [8.902317289902514]
  検証されたテキストのベンチマークを、制御された音声ベースのツールコール評価に変換できるかどうかを検討する。 我々のデータセットに依存しないフレームワークは、テキスト音声、話者変動、環境騒音を利用してペア化されたテキストオーディオインスタンスを作成する。
  論文  参考訳（メタデータ） (2026-05-14T17:22:42Z)
• When Audio-LLMs Don't Listen: A Cross-Linguistic Study of Modality Arbitration [1.5567685129899713]
  音声とテキストが衝突する場合、音声対応言語モデルは2つのテキストソース間の調停の10倍の頻度でテキストに従う。 応答前に書き起こしを強制すると、テキストの優位性(19%から33%)が増加し、アクセシビリティを向上させることなく、音声の利点を犠牲にする。 最先端の4つのオーディオ-LLMと8言語にわたる実験は、言語間およびクロスモデルの変化と一貫した傾向を示している。
  論文  参考訳（メタデータ） (2026-02-12T02:15:30Z)
• FlowDubber: Movie Dubbing with LLM-based Semantic-aware Learning and Flow Matching based Voice Enhancing [81.3306413498174]
  Movie Dubbingは、スクリプトを、時間的および感情的な両方の面において、所定の映画クリップと整合するスピーチに変換することを目的としている。 既存の手法は、リップシンクと音響品質の重要性を無視しながら、単語エラー率の低減に重点を置いている。 ダビングのための大規模言語モデル(LLM)に基づくフローマッチングアーキテクチャであるFlowDubberを提案する。
  論文  参考訳（メタデータ） (2025-05-02T13:30:19Z)
• Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation [15.039553663794315]
  提案手法は直接音声音声音声合成におけるリップ同期を著しく向上させる。 翻訳品質を損なうことなく、オリジナルビデオにオーバーレイした場合の翻訳音声の自然さと質を維持する。
  論文  参考訳（メタデータ） (2024-12-21T08:15:52Z)
• Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert [89.07178484337865]
  音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。 従来の研究では、唇音の同期と視覚的品質が重要であった。 そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-29T07:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。