論文の概要: EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold

• arxiv url: http://arxiv.org/abs/2609.35616v1
• Date: Mon, 28 Sep 2026 16:56:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:19:32.331197
• Title: EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold
• Title（参考訳）: EvolvingAvatar:対話型3Dヘッドジェネレーション
• Abstract要約: EvolvingAvatarは、対話中にユーザの顔ビデオとダイアディックオーディオに適応する因果生成装置である。 InterHead-Benchは、シングルビューとデュアルビューの会話ビデオから構築された455.95時間のベンチマークである。
• 参考スコア（独自算出の注目度）: 42.914956034834326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive 3D head generation requires coordinated speaking and listening motion that responds to an evolving conversation. Existing generators use incoming observations as context but keep their parameters fixed, leaving conversational patterns unused as a learning signal. We introduce EvolvingAvatar, a causal generator that uses test-time training to adapt to user face video and dyadic audio during interaction. Its dyadic context prediction objective provides a self-supervised learning signal from audiovisual context without target motion labels at test time. Persistent fast weights accumulate these updates within each conversation to guide motion generation, while transient jaw adaptation responds to current audiovisual context. Predicted speech activity controls how persistent adaptation guides motion. We also introduce InterHead-Bench, a unified 455.95-hour benchmark built from single-view and dual-view conversation videos. Experiments show improved conversational motion statistics over strong baselines. On the hardest out-of-distribution split, generation improves as conversations unfold, reducing mismatch with recorded user-avatar expression statistics by up to 11.1% from the first interval.
• Abstract（参考訳）: 対話型3Dヘッドジェネレーションは、進化する会話に対応するコーディネートされた音声と聴取動作を必要とする。 既存のジェネレータは、受信した観測をコンテキストとして使用するが、パラメータを固定し、学習信号として使われない会話パターンを残す。 EvolvingAvatarは、テストタイムトレーニングを使用して、インタラクション中にユーザ・フェイス・ビデオやダイアディック・オーディオに適応する因果生成装置である。 その動的コンテキスト予測目的は、テスト時にターゲットの動作ラベルを使わずに、聴覚的コンテキストから自己教師付き学習信号を提供する。 持続的なファストウェイトは各会話にこれらの更新を蓄積し、運動生成を誘導する一方、過渡的な顎適応は現在の聴覚的文脈に反応する。 予測音声活動は、持続的適応が動きをどう導くかを制御する。 また、シングルビューとデュアルビューの会話ビデオから構築された455.95時間の統一ベンチマークであるInterHead-Benchを導入する。 実験では、強いベースライン上での会話動作統計が改善した。 最も難しいアウト・オブ・ディストリビューション・スプリットでは、会話が広がるにつれて生成が向上し、記録されたユーザ・アバターの表現統計とのミスマッチが、最初のインターバルから最大11.1%減少する。

関連論文リスト

• REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening [30.041391055022274]
  REALM (Reactive Embodied Audio-driven Listening Model) は、音声駆動型リアクティブリスニングのための粗いフレームワークである。 Reactive Gated Speaker-Listener Fusionモジュールは、リスナーの動き履歴とスピーカーオーディオを遅延中心の事前注意を通して結合する。 知覚的ユーザスタディは、生成した振る舞いが身体的具体化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-27T02:06:13Z)
• Towards Seamless Interaction: Causal Turn-Level Modeling of Interactive 3D Conversational Head Dynamics [40.86039227407712]
  本稿では,TIMAR(Turn-level Interleaved Masked AutoRegression)について述べる。 各ターンにマルチモーダル情報を融合させ、会話履歴を蓄積するためにターンレベルの因果注意を適用する。 DualTalkベンチマークの実験では、TIMARはテストセット上でFréchet DistanceとMSEを15～30%削減している。
  論文  参考訳（メタデータ） (2025-12-17T11:37:35Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• DialogueNeRF: Towards Realistic Avatar Face-to-Face Conversation Video Generation [54.84137342837465]
  対面会話は毎日の会話の大部分を占める。 既存の手法のほとんどは、一人称音声音声生成に重点を置いている。 ニューラルレイディアンスフィールド(NeRF)に基づく新しい統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-15T14:16:49Z)
• Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
  本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。 音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
  論文  参考訳（メタデータ） (2021-12-27T07:18:50Z)
• FaceFormer: Speech-Driven 3D Facial Animation with Transformers [46.8780140220063]
  音声駆動の3D顔アニメーションは、人間の顔の複雑な形状と、3Dオーディオ視覚データの利用が制限されているため、難しい。 本研究では,トランスフォーマーをベースとした自動回帰モデルFaceFormerを提案し,長期音声コンテキストを符号化し,アニメーション3D顔メッシュのシーケンスを自動回帰予測する。
  論文  参考訳（メタデータ） (2021-12-10T04:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。