論文の概要: TongueReenact: Geometry-Anchored Tongue Synthesis for Face Reenactment

• arxiv url: http://arxiv.org/abs/2607.28039v1
• Date: Thu, 30 Jul 2026 11:23:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.525588
• Title: TongueReenact: Geometry-Anchored Tongue Synthesis for Face Reenactment
• Title（参考訳）: TongueReenact:顔再現のための幾何学的合成
• Abstract要約: 顔再現における異性間舌動態伝達のための第1の枠組みを紹介する。 そこで本研究では,修正したアノテーションを使わずに,単語の再発音のための専用舌分割モデルを提案する。 実験では、すべての舌固有の計量に対して、すべての基準線に対して2倍以上の改善が示される。
• 参考スコア（独自算出の注目度）: 12.132174271447544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern face reenactment systems achieve impressive pose and expression transfer using geometry-driven representations. However, they largely ignore tongue dynamics, leading to anatomically inconsistent mouth interiors during speech and expressive motions. We introduce the first framework for cross-identity tongue dynamics transfer in face reenactment. We propose a foundation-model-assisted bootstrapping pipeline that produces a dedicated tongue segmentation model for in-the-wild reenactment without curated annotations. We further introduce a spatially constrained latent masked diffusion model for realistic tongue synthesis, with adaptive mask dilation for seamless mouth boundary transitions. Extensive experiments demonstrate improvements of more than two times over all baselines on every tongue-specific metric. We additionally propose a VLM-based evaluation protocol that replicates expert annotation at scale, confirming perceptual superiority across all ablation variants.
• Abstract（参考訳）: 現代の顔再現システムは幾何学的表現を用いた印象的なポーズと表現伝達を実現する。 しかし、彼らは舌のダイナミクスをほとんど無視し、言語と表現運動の間、解剖学的に矛盾する口の内部に繋がる。 顔再現における異性間舌動態伝達のための第1の枠組みを紹介する。 そこで,本論文では,注釈を付さずに,手話再演のための専用の舌分割モデルを作成する基礎モデルを用いたブートストラップパイプラインを提案する。 さらに,現実的な舌合成のための空間制約付き潜在マスク拡散モデルを導入し,シームレスな口境界遷移のための適応マスク拡張を行った。 過剰な実験は、すべての舌固有の計量に対して、すべての基準線に対して2倍以上の改善を示す。 また,VLMに基づく評価プロトコルを提案する。このプロトコルは,専門家のアノテーションを大規模に再現し,すべてのアブレーション変種に対して知覚上の優位性を確認する。

関連論文リスト

• Diffusion Model as a Generalist Segmentation Learner [44.5756731086797]
  本稿では、事前学習した拡散モデルを統一されたフレームワークに再利用するDiGSeg(Diffusion Models as a Generalist Learner)を紹介する。 並列CLIP対応のテキストパスは、複数のスケールで言語機能を注入し、クエリと進化する視覚的表現との整合を可能にする。 この設計は、既製の拡散バックボーンを普遍的なインターフェースに変換し、外観と任意のテキストプロンプトの両方に条件付けされた構造化セグメンテーションマスクを生成する。
  論文  参考訳（メタデータ） (2026-04-27T15:04:13Z)
• FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling [47.23685762507782]
  我々は,音声条件による動きの埋め合わせのサブタスクとして,話し顔の編集と生成に注目した。 FacEDiTは、周囲の動きや音声に合わせたマスクされた顔の動きを合成することを学ぶ。 FacEDiTは、強力なアイデンティティ保存とスムーズな視覚的連続性を備えた、正確で音声対応の顔編集を生成する。
  論文  参考訳（メタデータ） (2025-12-16T03:49:52Z)
• Shushing! Let's Imagine an Authentic Speech from the Silent Video [15.426152742881365]
  視覚誘導音声生成は、聴覚信号に頼ることなく、顔の外観や唇の動きから真の音声を生成することを目的としている。 近年の進歩にもかかわらず、既存の手法は視覚的手がかりから意味論、音色、感情的な韻律を横断的に統一するのに苦労している。 ImaginTalkは、視覚入力のみを用いて忠実な音声を生成する新しいクロスモーダル拡散フレームワークである。
  論文  参考訳（メタデータ） (2025-03-19T06:28:17Z)
• Realistic Speech-to-Face Generation with Speech-Conditioned Latent Diffusion Model with Face Prior [13.198105709331617]
  本稿では,SCLDMと呼ばれる音声合成遅延拡散モデルを利用した音声合成フレームワークを提案する。 これは、音声対面生成のための拡散モデルの例外的モデリング機能を利用する最初の試みである。 提案手法は,最先端の手法よりも話者のアイデンティティを保ちながら,よりリアルな顔画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-10-05T07:44:49Z)
• Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video [91.92782707888618]
  本稿では,音声の知覚と音声の知覚を両立させるSpeech2Lip(Speech2Lip)という分解合成フレームワークを提案する。 提案手法は,数分間のビデオで学習し,視覚的品質と音声・視覚的同期の両面において最先端のパフォーマンスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-09T14:52:39Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)
• Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection [118.37239586697139]
  LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。 視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。 その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
  論文  参考訳（メタデータ） (2020-12-14T15:53:56Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。