論文の概要: Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans

• arxiv url: http://arxiv.org/abs/2608.24909v1
• Date: Wed, 22 Jul 2026 13:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.077592
• Title: Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
• Title（参考訳）: Super Star: デジタル人間のためのリアルタイムインタラクティブエージェントのストリーミングに向けて
• Abstract要約: 対話型デジタル人間のためのオンライン共同音声ジェスチャ生成を定式化する。 本稿では,ストリーミング音声応答モジュールとオンラインジェスチャー生成モジュールを結合したリアルタイム対話型フレームワークを提案する。 我々のフレームワークは、競合する既存のベースラインよりも、より優れたレイテンシ品質のトレードオフ、より強力な音声-モーション同期を実現する。
• 参考スコア（独自算出の注目度）: 31.708417292150717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing co-speech gesture generation methods are predominantly studied in offline settings, where gestures are synthesized from complete speech segments. However, interactive digital humans in real-world scenarios are required to generate speech-synchronous gestures online, using only currently available response audio under strict latency constraints. As a result, prior methods are unsuitable for real-time interaction, as they either rely on future speech information or incur substantial inference delay. In this paper, we formulate online co-speech gesture generation for interactive digital humans and propose a real-time interactive framework that couples a streaming speech response module with an online gesture generation module. Specifically, the gesture generator is designed as a causal multimodal autoregressive model that predicts body motion from streaming response speech and motion history, enabling low-latency and speech-aligned gesture synthesis without access to future speech. To support this setting, we further propose an offline data synthesis pipeline tailored to virtual companion scenarios, which leverages topic- and emotion-aware subject corpora to construct diverse human-agent dialogues and then generates co-speech gestures conditioned on the agent responses. Moreover, to bridge the gap between offline data construction and online deployment, we establish a self-evolving training loop by incorporating user feedback collected during online interaction into the data generation process, enabling continual adaptation to user preferences. Extensive experiments demonstrate that our framework achieves superior better latency-quality trade-off, stronger speech-motion synchronization, and higher user preference than competitive existing baselines. Project Page: https://super-star-2026.github.io/
• Abstract（参考訳）: 既存の音声合成手法は、音声セグメントからジェスチャを合成するオフライン環境で主に研究されている。 しかし、リアルタイムシナリオにおけるインタラクティブなデジタル人間は、厳密なレイテンシ制約の下で現在利用可能な応答オーディオのみを使用して、音声同期ジェスチャーをオンラインで生成する必要がある。 その結果、従来の手法は、将来の音声情報に依存するか、かなりの推論遅延を発生させるため、リアルタイムインタラクションには適さない。 本稿では、対話型デジタル人間のためのオンライン音声合成を定式化し、ストリーミング音声応答モジュールとオンラインジェスチャー生成モジュールを結合したリアルタイム対話型フレームワークを提案する。 具体的には、このジェスチャジェネレータは、ストリーミング応答音声とモーション履歴から身体の動きを予測する因果的マルチモーダル自己回帰モデルとして設計されており、将来の音声にアクセスすることなく、低レイテンシおよび音声整列ジェスチャ合成を可能にする。 この設定を支援するために、仮想共用シナリオに合わせたオフラインデータ合成パイプラインを提案する。これは、話題と感情を意識した主題コーパスを利用して、多様な人間とエージェントの対話を構築し、エージェント応答に条件付けされた音声の合成を行う。 さらに,オフラインデータ構築とオンラインデプロイメントのギャップを埋めるために,オンラインインタラクション中に収集したユーザフィードバックをデータ生成プロセスに組み込むことで,ユーザの好みへの継続的な適応を可能にする,自己進化型トレーニングループを確立する。 大規模な実験により、我々のフレームワークは、競合する既存のベースラインよりも、より優れたレイテンシ品質のトレードオフ、より強力な音声-モーション同期を実現し、ユーザの好みを高めることが実証された。 Project Page: https://super-star-2026.github.io/

関連論文リスト

• MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions [27.12492233362043]
  リアルタイムエンボディード・コンパニオン・インタラクションでは、ストリーミング音声からのユーザ意図をロボットがタイムリーな応答を生成する必要がある。 リアルタイム・フルタイム・エンボディ・アソシエイト・インタラクションのための統合フレームワークを提案する。 MIRAはAstribot S1のヒューマノイドロボット評価にデプロイされる。
  論文  参考訳（メタデータ） (2026-09-21T13:14:53Z)
• Conversational Human Audio-visual Talking Dialogue Generation [50.95039085506777]
  対話型対話型対話フレームワークCHATを提案する。 Chatは大きな言語モデルと対話型音声および顔行動改善モジュールで会話型顔モデルを統合する。 実験の結果,CHATは主観的評価と主観的評価の両方において,類似タスク用に設計された既存の関連手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-07-02T22:17:55Z)
• EchoAvatar: Real-time Generative Avatar Animation from Audio Streams [31.328378976492775]
  本稿では,低レイテンシでストリーミング音声と音楽から連続的でコヒーレントなフルボディモーションを生成するための新しいフレームワークを提案する。 この制御性とストリーム音声駆動合成を組み合わせることで,音声エージェントを対話型ヒューマノイドアバターに変換するためのプラグアンドプレイソリューションとして機能する。
  論文  参考訳（メタデータ） (2026-05-27T10:18:16Z)
• Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
  対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。 我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
  論文  参考訳（メタデータ） (2026-04-11T22:34:21Z)
• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation [44.996033104017506]
  本稿では,Dyadic 音声信号から文脈的に適切な人間の動きを生成する多モード拡散変換器 DyaDiT を提案する。 DyaDiTは、ソーシャルコンテキストトークンをオプションで使用して、コンテキストに適した動作を生成する。
  論文  参考訳（メタデータ） (2026-02-26T16:30:07Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions [62.19092662469285]
  Online Multimodal Conversational Response Generation (OMCRG) は、オンラインの音声と非言語からのフィードバックを同時生成する新しいタスクである。 我々は,OmniResponseを提案する。OmniResponseはマルチモーダル大言語モデル(MLLM)であり,正確なマルチモーダルリスナー応答を自動回帰的に生成する。 ResponseNetは、696の詳細なダイアディックインタラクションのデータセットで、同期化された分割画面ビデオ、マルチチャンネルオーディオ、トランスクリプト、注釈付き顔行動が特徴です。
  論文  参考訳（メタデータ） (2025-05-27T20:12:46Z)
• It Takes Two: Real-time Co-Speech Two-person's Interaction Generation via Reactive Auto-regressive Diffusion Model [34.94330722832987]
  会話中の2文字の動的動きを合成するための音声駆動自動回帰システムを提案する。 我々の知る限りでは、オンライン方式で2文字の対話型フルボディモーションを生成できる最初のシステムである。
  論文  参考訳（メタデータ） (2024-12-03T12:31:44Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。