論文の概要: Towards Flexible, Natural, Efficient Interaction for Conversational Talking Face Generation
- arxiv url: http://arxiv.org/abs/2606.31088v1
- Date: Tue, 30 Jun 2026 03:27:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.065808
- Title: Towards Flexible, Natural, Efficient Interaction for Conversational Talking Face Generation
- Title（参考訳）: 対話型対面生成のためのフレキシブル, 自然, 効率的インタラクションを目指して
- Abstract要約: 対話型会話音声生成のための新しいフレームワークであるInterTalkを紹介する。
提案手法は,各参加者間での複数ラウンドの対話力学を明示的にモデル化することにより,高い柔軟性を実現する。
InterTalkは30FPSでリアルタイムのパフォーマンスを維持しながら、優れたインタラクション品質を実現する。
- 参考スコア（独自算出の注目度）: 34.16949333353474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversational talking face generation has recently attracted increasing attention, aiming to synthesize interactive talking videos where characters speak, listen, and respond dynamically to each other. This task presents three core challenges: 1) Flexibility: enabling multi-round dialogues with an arbitrary number of participants; 2) Naturalness: maintaining coherent motion and appropriate non-verbal feedback throughout the interaction; and 3) Efficiency: achieving real-time generation and low computation overhead for long-term continuous online conversation. Despite recent advances, existing methods still fall short in balancing all three requirements. To bridge this gap, we introduce InterTalk, a novel and efficient framework designed for highly interactive conversational talking face generation. Built upon a motion-based architecture, InterTalk supports real-time conversation synthesis. Our method achieves strong flexibility by explicitly modeling multi-round conversational dynamics among each participant, eliminating constraints on their numbers. To enhance interactivity, we incorporate motion feedback from multiple participants and introduce an iterative generation strategy for more natural behaviors. Besides, we disentangle motion into several facial components, enabling targeted refinements for natural response such as precise lip sync and realistic eye blinking. Finally, we construct a new multi-person conversational dataset and enrich it with 3D face-based data augmentation. Extensive experiments demonstrate that InterTalk achieves superior interaction quality while maintaining real-time performance at 30 FPS.
- Abstract（参考訳）: 近年,対話型会話音声生成が注目され,対話型会話ビデオの文字合成や聞き取り,動的応答の実現が目指されている。
この課題には3つの課題がある。
1) 柔軟性: 任意の人数の参加者と複数ラウンドの対話を可能にすること。
2)自然性:コヒーレントな動きと相互作用を通して適切な非言語的フィードバックを維持すること。
3) 効率性: 長期連続オンライン会話におけるリアルタイム生成と低計算オーバーヘッドの実現。
最近の進歩にもかかわらず、既存の手法は3つの要件のバランスをとるのに不足している。
このギャップを埋めるため,対話型会話顔生成のための新しい,効率的なフレームワークであるInterTalkを紹介した。
モーションベースのアーキテクチャに基づいて、InterTalkはリアルタイムの会話合成をサポートする。
提案手法は,各参加者間の複数ラウンドの対話力学を明示的にモデル化し,その数に対する制約を解消することによって,高い柔軟性を実現する。
対話性を高めるため、複数の参加者からの動作フィードバックを取り入れ、より自然な行動に反復的な生成戦略を導入する。
さらに,動作を複数の顔成分に切り離し,正確な唇のシンクや現実的な点眼などの自然な反応を目標とした改善を可能にした。
最後に,新しい多人数会話データセットを構築し,それを3次元顔データ拡張で強化する。
大規模な実験では、InterTalkは30FPSでリアルタイムのパフォーマンスを維持しながら、優れたインタラクション品質を実現している。
関連論文リスト
- Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。
対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。
応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
論文 参考訳（メタデータ） (2026-06-09T17:46:55Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation [72.46711449668814]
本稿では,対話型顔と会話型音声の両方を同期的に生成する統合フレームワークであるTAVIDを紹介する。
本システムの評価は, 顔のリアリズム, 頭部の応答性, ダイアディック相互作用, 音声品質の4つの側面にまたがる。
論文 参考訳（メタデータ） (2025-12-23T12:04:23Z) - Interact2Ar: Full-Body Human-Human Interaction Generation via Autoregressive Diffusion Models [80.28579390566298]
テキスト条件付き自己回帰拡散モデルであるInteract2Arを導入する。
ハンドキネマティクスは専用のパラレルブランチを通じて組み込まれ、高忠実度フルボディ生成を可能にする。
我々のモデルは、時間的動きの合成、外乱へのリアルタイム適応、ディヤディックからマルチパーソンシナリオへの拡張など、一連のダウンストリームアプリケーションを可能にする。
論文 参考訳（メタデータ） (2025-12-22T18:59:50Z) - Towards Seamless Interaction: Causal Turn-Level Modeling of Interactive 3D Conversational Head Dynamics [40.86039227407712]
本稿では,TIMAR(Turn-level Interleaved Masked AutoRegression)について述べる。
各ターンにマルチモーダル情報を融合させ、会話履歴を蓄積するためにターンレベルの因果注意を適用する。
DualTalkベンチマークの実験では、TIMARはテストセット上でFréchet DistanceとMSEを15～30%削減している。
論文 参考訳（メタデータ） (2025-12-17T11:37:35Z) - Text2Interact: High-Fidelity and Diverse Text-to-Two-Person Interaction Generation [39.67266918328847]
本研究では,現実的なテキスト・ヒューマンインタラクションを生成するためのText2フレームワークを提案する。
本稿では,対話記述と強いシングルパーソン動作を協調する合成合成パイプラインであるInterComposeを提案する。
また,トークンレベルの手がかりを保存した単語レベルの条件付きテキスト対話モデルであるInterActorを提案する。
論文 参考訳（メタデータ） (2025-10-07T22:41:23Z) - Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。
AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。
本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-26T16:45:20Z) - DualTalk: Dual-Speaker Interaction for 3D Talking Head Conversations [18.419225973482423]
既存の3Dトーキングヘッドジェネレーションモデルは、話すことや聞くことのみに焦点を当てている。
本稿では,3次元音声ヘッド生成のためのマルチラウンドデュアルスピーカインタラクションを提案する。
我々は、話者とリスナーの動的挙動を統合する新しい統合フレームワークであるDualTalkを紹介する。
論文 参考訳（メタデータ） (2025-05-23T16:49:05Z) - It Takes Two: Real-time Co-Speech Two-person's Interaction Generation via Reactive Auto-regressive Diffusion Model [34.94330722832987]
会話中の2文字の動的動きを合成するための音声駆動自動回帰システムを提案する。
我々の知る限りでは、オンライン方式で2文字の対話型フルボディモーションを生成できる最初のシステムである。
論文 参考訳（メタデータ） (2024-12-03T12:31:44Z) - A Unified Framework for Motion Reasoning and Generation in Human Interaction [28.736843383405603]
本稿では,言語と運動の両モードを統合したVersatile Interactive Motion-Languageモデルを提案する。
VIMは、動きとテキストのモダリティの両方を同時に理解し、生成することができる。
我々は,動画像のテキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト)、反応生成,動作編集,および動作系列の推論を含む複数の対話的動作関連タスク
論文 参考訳（メタデータ） (2024-10-08T02:23:53Z) - Interactive Conversational Head Generation [68.76774230274076]
対面会話における1つのインターロケータの振る舞いを合成するための新しい対話ヘッド生成ベンチマークを提案する。
長時間・複数回会話に参加可能なインターロカクタを自動的に合成する機能は不可欠であり、様々なアプリケーションにメリットを提供する。
論文 参考訳（メタデータ） (2023-07-05T08:06:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。