論文の概要: Beyond Lip Sync: Reference-Grounded Oral Refinement for Audio-Driven Portrait Animation

• arxiv url: http://arxiv.org/abs/2609.38019v1
• Date: Tue, 29 Sep 2026 17:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.769067
• Title: Beyond Lip Sync: Reference-Grounded Oral Refinement for Audio-Driven Portrait Animation
• Title（参考訳）: Beyond Lip Sync: オーディオ駆動のポートレートアニメーションのためのリファレンスグラウンドオーラルリファインメント
• Abstract要約: RGOR(Reference-Grounded Oral Refinement)は、音声駆動のリップシンクフレームワークで、特定の人物の口を一般的なものではなく呼び出す。 既存のリップシンクシステムは、音声を忠実に追跡し、顔を認識し続けるが、彼らが描画する口は平均的な口である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present RGOR (Reference-Grounded Oral Refinement), an audio-driven lip-sync framework that renders the mouth of the specific person being dubbed rather than a generic one. Existing lip-sync systems follow the audio closely and keep the face recognizable, yet the mouth they render is an average mouth: the shape and texture of the lips, the arrangement of the teeth, and how much of them shows as the mouth opens are not that person's. The problem persists because nothing in current training or evaluation asks for the person's own mouth: perceptual losses accept any plausible mouth, face identity is carried mostly by the skin around it, and the released inference code of inpainting systems uses the unmasked target frame as the reference, which hides the gap. To address this, RGOR conditions every generated frame on frames from separate enrollment recordings of the same person and on HD patches of the mouth that bypass the VAE, and trains the generator against a paired judge that compares each rendered mouth with the person's reference and learns to reject a realistic mouth of someone else. We further build an evaluation protocol and use it to compare open-source and commercial lip-sync systems on held-out identities. Experiments show that RGOR achieves the best or second-best result on most metrics, and preserves the person's own lip and dental detail while keeping synchronization and the rest of the face intact.
• Abstract（参考訳）: 提案するRGOR(Reference-Grounded Oral Refinement)は、音声駆動のリップシンクフレームワークで、特定の人物の口をジェネリックではなく呼び出す。 既存のリップシンクシステムは、音声を忠実に追従し、顔を認識するが、それらが描画する口は平均的な口であり、唇の形状とテクスチャ、歯の配置、そしてその口が開いたときにどれだけの量が表示されるかは、その人のものではない。 この問題は、現在のトレーニングや評価で、知覚的損失は、プラウチブルな口を受け入れ、顔のアイデンティティは、その周りの皮膚によって主に運ばれ、解放された塗装システムの推論コードは、未マッピングのターゲットフレームを参照として使用し、ギャップを隠蔽する。 この問題を解決するために、RGORは、同一人物の別々の登録記録と、VAEをバイパスする口のHDパッチからフレーム上の全ての生成されたフレームを条件付け、各レンダリングされた口と人の参照を比較して、誰かの現実的な口を拒絶することを学ぶペアの裁判官に対してジェネレータを訓練する。 さらに,評価プロトコルを構築し,オープンソースと商用のリップシンクシステムの比較を行う。 実験の結果、RGORはほとんどの指標において最良の結果または2番目に良い結果を得ることができ、顔の他の部分と同期を維持しながら、人の唇と歯の細部を保存できることがわかった。

関連論文リスト

• EfficientSync: Real-Time Lip Synchronization via Deformation-Based Reference Texture Mixing [27.339264900758693]
  提案するEfficientSyncは, 参照テクスチャを合成するのではなく, リアルタイムな変形ベースのフレームワークである。 HDTFとVFHQの実験では、1つのGPU上で166FPSで最先端の視覚的品質とアイデンティティの保存が示されている。
  論文  参考訳（メタデータ） (2026-08-19T11:49:06Z)
• Assessing Identity Leakage in Talking Face Generation: Metrics and Evaluation Framework [56.30142869506262]
  塗り絵ベースの話し顔生成は、唇の動きだけを変更しながらポーズ、照明、ジェスチャーなどの映像の詳細を保存することを目的としている。 この機構は、生成した唇が、駆動オーディオのみの影響ではなく、参照画像の影響を受けるリップリークを導入することができる。 そこで本研究では,唇の漏れを分析し定量化するためのシステム評価手法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T17:11:53Z)
• Exposing Lip-syncing Deepfakes from Mouth Inconsistencies [29.81606633121959]
  リップシンクのディープフェイク(英: Lip-syncing Deepfake)は、人の唇の動きをAIモデルを使って説得力のある方法で生成し、修正された音声や全く新しい音声にマッチさせるデジタル操作されたビデオである。 本稿では,口内持続性(LIPINC)に基づくリップシンクディープフェイク検出のための新しいLIP同期検出法について述べる。
  論文  参考訳（メタデータ） (2024-01-18T16:35:37Z)
• Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
  トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。 まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。 実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-18T15:50:04Z)
• Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation [58.72068260933836]
  コンテキスト対応LipSync-フレームワーク(CALS) CALSはAudio-to-LipマップモジュールとLip-to-Faceモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-05-31T04:50:32Z)
• Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert [89.07178484337865]
  音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。 従来の研究では、唇音の同期と視覚的品質が重要であった。 そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-29T07:51:07Z)
• Masked Lip-Sync Prediction by Audio-Visual Contextual Exploitation in Transformers [91.00397473678088]
  従来の研究では、任意の目標の音声条件に対して、口唇同期音声を正確に生成する方法が検討されている。 本稿では,映像品質の正確なリップ同期を実現するAV-CAT(Audio-Visual Context-Aware Transformer)フレームワークを提案する。 我々のモデルは任意の被験者に対して高忠実度リップ同期結果を生成することができる。
  論文  参考訳（メタデータ） (2022-12-09T16:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。