論文の概要: REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening

• arxiv url: http://arxiv.org/abs/2609.33095v1
• Date: Sun, 27 Sep 2026 02:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:33:35.208245
• Title: REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening
• Title（参考訳）: REALM: 身体的リアクティブリスニングのための粗大な生成フレームワーク
• Abstract要約: REALM (Reactive Embodied Audio-driven Listening Model) は、音声駆動型リアクティブリスニングのための粗いフレームワークである。 Reactive Gated Speaker-Listener Fusionモジュールは、リスナーの動き履歴とスピーカーオーディオを遅延中心の事前注意を通して結合する。 知覚的ユーザスタディは、生成した振る舞いが身体的具体化に適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 30.041391055022274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating responsive listener facial motion is an important task for embodied conversational AI. Two modeling challenges are central: accounting for the timing of speaker cues while maintaining continuity with the listener's ongoing motion, and capturing locally variable facial events alongside the overall motion trajectory. Listener responses may follow preceding cues with a temporal lag, while brief expressions and blinks introduce variation that is difficult to predict deterministically. These challenges motivate a framework that combines history-aware temporal alignment with stochastic expression refinement. We propose REALM (Reactive Embodied Audio-driven Listening Model), a coarse-to-fine framework for audio-driven reactive listening. A Reactive Gated Speaker-Listener Fusion module combines listener motion history with speaker audio through a delay-centered attention prior and adaptive gating. A coarse decoder predicts a base motion trajectory, which is augmented by audio-conditioned stochastic residuals in the expression subspace while retaining the coarse pose parameters. Evaluations on ViCo and L2L show improvements over the evaluated baselines across multiple motion-quality metrics. Additional analyses examine delay sensitivity, gate behavior, and blink dynamics. Finally, deployment on an Ameca humanoid robot and a perceptual user study demonstrate the applicability of the generated behavior to physical embodiment. Code: https://github.com/lipzh5/REALM Demo: https://youtu.be/Tf5mpd5S8VQ
• Abstract（参考訳）: レスポンシブリスナーの顔の動きを生成することは、会話AIを具現化する上で重要な課題である。 2つのモデリング課題は、聴取者の継続動作との連続性を保ちながら話者手がかりのタイミングを考慮し、全体の運動軌跡とともに局所的に変化する顔イベントをキャプチャすることである。 聴取者の反応は時間的なラグで先行の手がかりに従うことができ、一方、短い表現や点滅は決定論的に予測しにくい変化をもたらす。 これらの課題は、履歴を意識した時間的アライメントと確率的表現の洗練を組み合わせたフレームワークを動機付けている。 本稿では,REALM(Reactive Embodied Audio-driven Listening Model)を提案する。 Reactive Gated Speaker-Listener Fusionモジュールは、リスナーの動き履歴とスピーカーオーディオを、遅延中心の注意と適応ゲーティングを通じて組み合わせる。 粗いデコーダは、粗いポーズパラメータを保持しながら、表現部分空間内の音声条件付き確率的残差によって強化されたベースモーション軌跡を予測する。 ViCoとL2Lの評価は、複数のモーション品質指標で評価されたベースラインよりも改善されている。 追加分析では、遅延感度、ゲート挙動、および点滅ダイナミクスについて検討する。 最後に、Amecaのヒューマノイドロボットへの展開と知覚的ユーザスタディにより、生成された振る舞いが身体的実施に適用可能であることを示す。 コード: https://github.com/lipzh5/REALM Demo: https://youtu.be/Tf5mpd5S8VQ

関連論文リスト

• EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold [42.914956034834326]
  EvolvingAvatarは、対話中にユーザの顔ビデオとダイアディックオーディオに適応する因果生成装置である。 InterHead-Benchは、シングルビューとデュアルビューの会話ビデオから構築された455.95時間のベンチマークである。
  論文  参考訳（メタデータ） (2026-09-28T16:56:07Z)
• MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions [27.12492233362043]
  リアルタイムエンボディード・コンパニオン・インタラクションでは、ストリーミング音声からのユーザ意図をロボットがタイムリーな応答を生成する必要がある。 リアルタイム・フルタイム・エンボディ・アソシエイト・インタラクションのための統合フレームワークを提案する。 MIRAはAstribot S1のヒューマノイドロボット評価にデプロイされる。
  論文  参考訳（メタデータ） (2026-09-21T13:14:53Z)
• Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation [58.79612575170589]
  既存の手法では、重なり合う音響イベントと視覚的インスタンスをマッチングし、音声視覚力学を扱うのに苦労している。 本稿では,2つのメカニズムを用いて,これらの課題に対処するH2Sを提案する。 論文が受け入れられたら、コードはオープンソースになる。
  論文  参考訳（メタデータ） (2026-08-04T07:35:57Z)
• Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation [26.766367856312694]
  本稿では,視覚・ストリーミング音声・言語・プロプライエセプションを考慮した連続制御パラダイムとして,VSLA(Vision-Sound-Language-Action)を定式化した。 i) 実行ギャップをまたいだコンパクトで因果的な音声コンテキストを維持するためのストリーミングヒストリザ、(ii) オームニ基礎モデルから多感覚入力を推論するエンビジョンタ、(iii) オーディオワールドモデルとして定式化されたアドバンサ、そして(iv) 流れを予測して時間的ダイナミクスを学ぶための、VSLAフレームワークであるHEARを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T03:22:30Z)
• Spatial Audio Question Answering and Reasoning on Dynamic Source Movements [8.029049649310211]
  孤立したモノラル音声イベントから多様な動きパターンを合成する動き中心の空間オーディオ拡張フレームワークを提案する。 第二に、音声モデルが明確な中間推論ステップを生成できる思考モードを持つエンドツーエンドのマルチモーダル微調整手法を提案する。 第3に,クエリ条件付きソース分離が事前処理段階に与える影響について検討し,3つの推論条件を比較した。
  論文  参考訳（メタデータ） (2026-02-18T10:16:30Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis [90.74616208952791]
  HM-Talkerは、高忠実で時間的コヒーレントな話しヘッドを生成するための新しいフレームワークである。 AUs(Action Units)は、解剖学的に定義された顔面の筋肉の動きと、音素と視覚の相違を最小限に抑える暗黙的な特徴を使用する。
  論文  参考訳（メタデータ） (2025-08-14T12:01:52Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。