論文の概要: Sonic-AMG: Streaming Human Motion Generation from Spatial Audio

• arxiv url: http://arxiv.org/abs/2610.13300v1
• Date: Fri, 09 Oct 2026 09:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.510238
• Title: Sonic-AMG: Streaming Human Motion Generation from Spatial Audio
• Title（参考訳）: Sonic-AMG:空間オーディオから人間の動きをストリーミングする
• Abstract要約: 我々はSonic-AMGについて、空間オーディオから人間の動きをストリーミングする最初のフレームワークについて紹介する。 このモデルは、音響的内容とボディ相対的音源形状を別々のトークンとしてエンコードする。 さらに、サウンドイベントやソースロケーション間のコヒーレントな反応をリアルタイムに生成する機能も備えている。
• 参考スコア（独自算出の注目度）: 50.179160840865705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling human reactions to spatial audio requires understanding both what is heard and where it comes from. Prior work generates motion offline from complete acoustic and spatial input sequences. Humans, however, react to sounds without knowing what they will hear next. We present Sonic-AMG, to our knowledge the first framework for streaming human motion generation from spatial audio. The model encodes acoustic content and body-relative source geometry as separate tokens. Conditioned on these tokens, a causal transformer with a flow head generates continuous motion latents, from which a causal decoder reconstructs motion segments. Standard teacher-forced training derives motion histories and body-relative source locations from ground-truth motion, whereas streaming inference relies on generated motion for both, resulting in a training-inference mismatch. To reduce this history discrepancy, we introduce rehearsal training, which combines full-sequence teacher-forced supervision with supervised prediction along short autoregressive self-rollouts. To keep spatial conditioning consistent with generated motion, we propose spatial feedback, which recomputes body-relative source locations from generated root poses during both rehearsal training and inference. On SAM, Sonic-AMG achieves state-of-the-art FID and R-precision. It further supports real-time online generation of coherent reactions across sound events and source locations. Project page: https://jingchengni.com/sonic-amg/.
• Abstract（参考訳）: 空間的オーディオに対する人間の反応をモデル化するには、聴覚とそれがどこから来たかの両方を理解する必要がある。 先行研究は完全な音響入力シーケンスと空間入力シーケンスからオフライン動作を生成する。 しかし、人間は次に何を聞くかを知ることなく、音に反応する。 我々はSonic-AMGについて、空間オーディオから人間の動きをストリーミングする最初のフレームワークについて紹介する。 このモデルは、音響的内容とボディ相対的音源形状を別々のトークンとしてエンコードする。 これらのトークンを条件に、フローヘッドを有する因果変換器は、因果デコーダが動きセグメントを再構成する連続的な動き潜伏器を生成する。 標準教師強制訓練は、地動運動から運動履歴と身体関連源の位置を導き出すが、ストリーミング推論は、両方の動きに依拠し、トレーニング推論ミスマッチをもたらす。 この履歴の相違を解消するために,教師によるフルシーケンスの指導と,短時間の自己回帰的自己ロールアウトによる教師による予測を組み合わせたリハーサルトレーニングを導入する。 生成した動きと空間条件を一致させるため,リハーサルトレーニングと推論の両方において,生成したルートポーズから身体関連源の位置を再現する空間フィードバックを提案する。 SAMでは、Sonic-AMGは最先端のFIDとR精度を達成する。 さらに、サウンドイベントやソースロケーション間のコヒーレントな反応をリアルタイムに生成する機能も備えている。 プロジェクトページ:https://jingchengni.com/sonic-amg/。

関連論文リスト

• REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening [30.041391055022274]
  REALM (Reactive Embodied Audio-driven Listening Model) は、音声駆動型リアクティブリスニングのための粗いフレームワークである。 Reactive Gated Speaker-Listener Fusionモジュールは、リスナーの動き履歴とスピーカーオーディオを遅延中心の事前注意を通して結合する。 知覚的ユーザスタディは、生成した振る舞いが身体的具体化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-27T02:06:13Z)
• MoSAT: Human Motion Generation from Spatial Audio and Textual Description [72.30780840344869]
  本研究では,空間音声と自然言語を併用した人間の動作合成の新しい課題について検討する。 本稿では,空間音声と詳細なテキストアノテーションを組み合わせた動き系列のデータセットSTAMを紹介する。 自然言語の意図と方向空間音響に基づくフルボディモーション生成のための潜在フローマッチングフレームワークであるMoSATを紹介した。
  論文  参考訳（メタデータ） (2026-09-20T18:38:41Z)
• Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control [0.0]
  セマンティックオーディオ駆動型ヒューマノイド制御のための新しいマルチモーダルオーケストレーションフレームワークを提案する。 システムは、連続したオーディオストリームを処理し、それらを音楽または音声ブランチにルーティングする。 音楽入力は音声フィンガープリントとセマンティック埋め込みによって処理され、トラックのアイデンティティと時間的アライメントを取得する。 音声入力は、模倣学習スキルの個別ライブラリに基礎を置いており、直接人間とロボットの相互作用を可能にする。
  論文  参考訳（メタデータ） (2026-07-15T14:24:00Z)
• SARAH: Spatially Aware Real-time Agentic Humans [58.32612596034656]
  ストリーミングVRヘッドセット上に展開可能な空間認識型対話動作のための,初のリアルタイム完全因果的手法を提案する。 ユーザの位置とダイアディックな音声を考慮に入れたアプローチでは,エージェントの向きをユーザに応じて調整しながら,ジェスチャーを音声と整列させる全体動作を生成する。 実写VRシステムに対する我々のアプローチを検証し,空間認識型対話エージェントをリアルタイム展開に適用する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:35Z)
• MOSPA: Human Motion Generation Driven by Spatial Audio [83.31594478750682]
  本稿では,多種多様で高品質な空間音声・動きデータを含む,空間音声駆動型人体運動データセットについて紹介する。 本研究では,身体運動と空間音声の関係を忠実に把握する,MOSPAと呼ばれるスパティアルオーディオによって駆動される人間の運動生成のためのフレームワークを開発する。 本手法は,本課題における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-07-16T06:33:11Z)
• LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
  本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。 私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。 フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
  論文  参考訳（メタデータ） (2023-05-06T09:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。