論文の概要: Not Quite My Tempo: Voice Activity-aware Speech Synthesis for Lip-Synchronous Dubbing

• arxiv url: http://arxiv.org/abs/2609.26486v1
• Date: Tue, 22 Sep 2026 14:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.69415
• Title: Not Quite My Tempo: Voice Activity-aware Speech Synthesis for Lip-Synchronous Dubbing
• Title（参考訳）: Not Quite My Tempo:Lip-Synchronous Dubbingのための音声活動対応音声合成
• Abstract要約: 我々は、軽量な表現を持ち、複数の方法で生成できるバイナリ音声活動信号に音声生成を条件付けする。 本研究では,本モデルが文中の自然な韻律と意味論的に適切なポーズ配置を維持しつつ,高い精度で音声活動信号に従うことを示す。
• 参考スコア（独自算出の注目度）: 40.162703163388635
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic lip-synchronous dubbing requires a speech synthesis model to generate alternating voice and silence patterns in the target language that match the timing of the source clip precisely to ensure an optimal viewing experience. Prior works address this problem by conditioning the speech synthesis process on lip movements extracted from the video signal. In this work, we condition the speech generation on a binary voice-activity signal, which has a lightweight representation and can be produced in multiple ways. We show that the model follows the voice-activity signal with high accuracy while maintaining natural prosody and semantically appropriate pause placement within sentences, as demonstrated through extensive objective and subjective evaluations. By randomly masking this condition during training, we make the feature entirely optional during inference, allowing editors to enforce or relax lip-sync constraints when desired.
• Abstract（参考訳）: 自動唇同期ダビングは、最適な視聴体験を確保するために、ソースクリップのタイミングに正確に一致するターゲット言語で音声とサイレントパターンを交互に生成する音声合成モデルを必要とする。 先行研究は,映像信号から抽出した唇の動きに音声合成過程を条件付けることでこの問題に対処する。 本研究では、軽量な表現を持ち、複数の方法で生成可能なバイナリ音声活動信号に対して、音声生成を条件付けする。 本研究では,本モデルが文中の自然な韻律と意味論的に適切なポーズ配置を維持しつつ,高い精度で音声活動信号に従うことを示す。 トレーニング中にこの条件をランダムにマスキングすることで、推論中に完全にオプションにし、エディタが必要に応じてリップシンク制約を強制または緩和できるようにします。

関連論文リスト

• ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
  音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。 既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。 本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
  論文  参考訳（メタデータ） (2026-06-11T13:00:58Z)
• Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
  Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-04T12:50:22Z)
• SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion [78.77211425667542]
  SayAnythingは、オーディオ入力から唇の動きを直接合成する条件付きビデオ拡散フレームワークである。 我々の新しい設計は、潜在空間における異なる条件信号のバランスを効果的に保ち、外観、動き、地域固有の生成を正確に制御できる。
  論文  参考訳（メタデータ） (2025-02-17T07:29:36Z)
• Towards Accurate Lip-to-Speech Synthesis in-the-Wild [31.289366690147556]
  そこで本研究では,唇の動きのみをベースとしたサイレントビデオから音声を合成する手法を提案する。 リップビデオから直接音声を生成する従来のアプローチは、音声だけで堅牢な言語モデルを学べないという課題に直面している。 我々は,我々のモデルに言語情報を注入する最先端のリップ・トゥ・テキスト・ネットワークを用いて,ノイズの多いテキスト管理を導入することを提案する。
  論文  参考訳（メタデータ） (2024-03-02T04:07:24Z)
• Zero-shot personalized lip-to-speech synthesis with face image based voice control [41.17483247506426]
  顔画像から対応する音声を予測するLip-to-Speech(Lip2Speech)合成は、様々なモデルや訓練戦略で大きく進歩している。 顔画像が話者の身元を制御するゼロショットパーソナライズされたLip2Speech合成法を提案する。
  論文  参考訳（メタデータ） (2023-05-09T02:37:29Z)
• VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic Voice Over [68.22776506861872]
  AVO(Automatic Voice Over)と呼ばれるサイレント事前録音ビデオと同期して音声を合成する新しいタスクを定式化する。 AVOの自然な解決策は、ビデオ中のリップシーケンスの時間的進行に音声レンダリングを条件付けることである。 そこで本稿では,視覚入力を前提とした新しい音声合成モデルVisualTTSを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。