論文の概要: Talk Like You: Imitating How You Speak in Real-Time Talking Head Generation

• arxiv url: http://arxiv.org/abs/2610.06658v1
• Date: Mon, 05 Oct 2026 16:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:51:32.6982
• Title: Talk Like You: Imitating How You Speak in Real-Time Talking Head Generation
• Title（参考訳）: リアルタイムで話すヘッドジェネレーションの仕方
• Abstract要約: 本研究では,対話音声生成における対象人物の話し方を模倣する効率的なフレームワークであるTalkLikeYouを提案する。 提案手法は,フローマッチングによる動き空間とリアルタイム性能の習慣付けを行う。 また,模擬精度と生成多様性を評価するために,口の動きを代表音節軸に投影する新しい指標PLADを導入する。
• 参考スコア（独自算出の注目度）: 17.740181107069894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In daily life, each person exhibits unique speaking habits, leading to subtle yet consistent lip-shape variations even when pronouncing the same word. Although recent talking head generation methods have achieved impressive visual fidelity and lip synchronization, they largely overlook user-specific customization, especially the motion patterns that characterize individual speaking habits. These habits are difficult to model and capture, as their motion patterns are highly fine-grained and often similar across individuals. As a result, many approaches produce overly uniform facial motions and fail to capture diverse, person-specific articulation patterns. To address this, we propose TalkLikeYou, an efficient framework that imitates how a target person speaks in talking head generation. Our method models habit in motion-space and achieves real-time performance through Flow Matching with only one sampling step during inference. We further adopt a two-stage imitation learning strategy to capture subtle distinctions between habits, allowing users to specify a target habit through either a preset style from the dataset or a reference video. In addition, we introduce a new metric PLAD that projects mouth motions onto representative articulation axes to evaluate imitation accuracy and generation diversity. Extensive experiments demonstrate that TalkLikeYou generates high-quality talking heads in real-time and significantly improves speaking habit imitation compared with prior methods. The code is available at: https://github.com/BQ-Wang0511/TalkLikeYou
• Abstract（参考訳）: 日常生活において、各人は独特の話し癖を示し、同じ単語を発音しても微妙に一貫した唇形の変化をもたらす。 最近の音声ヘッド生成法は目覚ましい視覚的忠実度と唇の同期性を達成しているが、ユーザ固有のカスタマイズ、特に個々の発話習慣を特徴付ける動きパターンをほとんど見落としている。 これらの習慣は、運動パターンが細粒度が高く、個人間でよく似ているため、モデル化とキャプチャが困難である。 その結果、多くのアプローチが顔の動きを過度に均一に生成し、多様で個人固有の調音パターンを捉えられなかった。 そこで本研究では,対話型音声生成において,対象者の発話を模倣する効率的なフレームワークであるTalkLikeYouを提案する。 提案手法は, 動作空間における習熟度をモデル化し, 推論中の1ステップのみをフローマッチングによりリアルタイムに評価する。 さらに、2段階の模倣学習戦略を採用し、習慣の微妙な区別を捉え、ユーザーはデータセットや参照ビデオから予め設定されたスタイルでターゲットの習慣を指定できる。 さらに, 模擬精度と生成多様性を評価するために, 口の動きを代表音節軸に投影する新しい指標PLADを導入する。 広範囲な実験により、TalkLikeYouは高品質な発話ヘッドをリアルタイムに生成し、従来の方法と比較して発話習慣の模倣を著しく改善することが示された。 コードは、https://github.com/BQ-Wang0511/TalkLikeYouで入手できる。

関連論文リスト

• ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
  音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。 既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。 本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
  論文  参考訳（メタデータ） (2026-06-11T13:00:58Z)
• Polyglot: Multilingual Style Preserving Speech-Driven Facial Animation [24.33498946139279]
  音声駆動顔アニメーション(SDFA)は、映画、ビデオゲーム、バーチャルリアリティーに応用されているため、注目されている。 本研究では,言語が音韻,リズム,イントネーション,表情に影響を及ぼすため,現実的な生成に不可欠である多言語SDFAに対処する。 既存の手法は言語固有の条件と話者固有の条件の両方に依存しているが、両方ではない。 パーソナライズされた多言語SDFAのための統合拡散型アーキテクチャであるPolyglotを紹介する。
  論文  参考訳（メタデータ） (2026-04-17T14:43:33Z)
• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• Model See Model Do: Speech-Driven Facial Animation with Style Control [14.506128477193991]
  音声駆動の3D顔アニメーションは、仮想アバター、ゲーム、デジタルコンテンツ作成などのアプリケーションにおいて重要な役割を果たす。 既存の手法は、正確な唇同期を実現し、基本的な感情表現を生成するために大きな進歩を遂げてきた。 本稿では,参照スタイルクリップ上で遅延拡散モデルを条件とした新しい例ベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-02T14:47:21Z)
• MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
  トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。 MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。 私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
  論文  参考訳（メタデータ） (2024-10-09T10:12:37Z)
• DiffTED: One-shot Audio-driven TED Talk Video Generation with Diffusion-based Co-speech Gestures [27.763304632981882]
  DiffTEDは、1つの画像から1ショットの音声駆動音声ビデオを生成する新しいアプローチである。 我々は拡散モデルを利用して、薄膜スプライン運動モデルのためのキーポイントのシーケンスを生成する。 実験により、DiffTEDは多様な音声のジェスチャーによる時間的コヒーレントな会話ビデオを生成することが示された。
  論文  参考訳（メタデータ） (2024-09-11T22:31:55Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video [91.92782707888618]
  本稿では,音声の知覚と音声の知覚を両立させるSpeech2Lip(Speech2Lip)という分解合成フレームワークを提案する。 提案手法は,数分間のビデオで学習し,視覚的品質と音声・視覚的同期の両面において最先端のパフォーマンスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-09T14:52:39Z)
• Imitating Arbitrary Talking Style for Realistic Audio-DrivenTalking Face Synthesis [17.650661515807993]
  本稿では,特定の参照ビデオの任意の発話スタイルを模倣することにより,音声合成フレームワークにスタイルを注入することを提案する。 我々は,スタイルコードから発声スタイルを模倣して,スタイリングされた音声を合成する潜在スタイル融合(LSF)モデルを考案した。
  論文  参考訳（メタデータ） (2021-10-30T08:15:27Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。