論文の概要: MOMO: Human Motion from Moving Sounds

• arxiv url: http://arxiv.org/abs/2610.24522v1
• Date: Sat, 17 Oct 2026 07:31:54 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:54:39.146829
• Title: MOMO: Human Motion from Moving Sounds
• Title（参考訳）: MOMO:移動音からの人間の動き
• Abstract要約: 動的空間音響駆動型人体運動生成の新しい課題を定式化する。 MOMOは3つの原則(ローカライゼーション、理解、生成)で導かれる拡散ベースのフレームワークである。 実験により、MOMOは動きの忠実さ、オーディオモーションアライメント、身体的妥当性において、既存のベースラインよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 46.638559361283676
• License:
• Abstract: Human responses to sound depend not only on its semantic content, but also on the evolving spatial relationship between source and listener, conveyed through spatial audio and its temporal dynamics. Modeling human reactions to such dynamic spatial audio is important for character animation, human behavior analysis, and robotics. As of yet, existing audio-driven motion generation methods primarily focus on non-spatial or static acoustic conditions, leaving this important problem largely underexplored. To bridge this gap, we formulate the novel task of dynamic spatial-audio-driven human motion generation and introduce two motion-captured datasets. We introduce the Dynamic Spatial Audio and Motion dataset (DySAM) as the first dataset and benchmark for this task, providing synchronized binaural audio, 3D human motions, and moving sound source trajectories. Given the importance of dynamic spatial cues of sound sources, we further provide the Dynamic Spatial Audio Localization dataset (DySAL), an auxiliary binaural localization dataset that pairs diverse acoustic events with head poses and moving source trajectories to support spatial audio perception. For benchmarking, we propose MOMO for human Motion generation from Moving Sounds, a diffusion-based framework guided by three coupled principles: localization, understanding, and generation. MOMO performs localization by estimating head-centric spatial direction cues of the moving source directly from raw binaural audio, avoiding reliance on ground-truth source coordinates. It performs understanding by extracting frame-wise audio-content representations, and performs generation by conditioning motion diffusion on both semantic features and dynamic spatial cues. Experiments show that MOMO outperforms existing baselines in motion fidelity, audio-motion alignment, and physical plausibility.
• Abstract（参考訳）: 音声に対する人間の反応は、その意味的内容だけでなく、空間的音声と時間的ダイナミクスを通して伝達される音源と聴取者の空間的関係の進化にも依存する。 このようなダイナミックな空間的オーディオに対する人間の反応のモデル化は、キャラクターアニメーション、人間の行動分析、ロボット工学において重要である。 しかし、既存の音声駆動モーション生成法は、主に非空間的または静的な音響条件に焦点を当てており、この重要な問題はほとんど探索されていない。 このギャップを埋めるために、動的空間音響駆動型人体運動生成の新しいタスクを定式化し、2つのモーションキャプチャーデータセットを導入する。 本研究では,このタスクの最初のデータセットとベンチマークとして動的空間音響・運動データセット(DySAM)を導入し,同調バイノーラルオーディオ,3次元人体動作,移動音源軌跡を提供する。 さらに,音源の動的空間的手がかりを考慮し,頭部のポーズと移動音源の軌跡を組み合わせ,空間的音像知覚を支援するバイノーラル・ローカライゼーション・データセット(DySAL)を提案する。 そこで我々は,移動音による人間の動き生成のためのMOMOを提案し,このMOMOは3つの共通原理(局所化,理解,生成)で導かれる拡散型フレームワークである。 MOMOは、移動音源の頭部中心空間方向のキューを生のバイノーラルオーディオから直接推定し、接地トラス音源座標に依存することを避ける。 フレームワイズな音声コンテンツ表現を抽出して理解し、意味的特徴と動的空間的手がかりの両方に運動拡散を条件づけて生成する。 実験により、MOMOは動きの忠実さ、オーディオモーションアライメント、身体的妥当性において、既存のベースラインよりも優れていることが示された。

関連論文リスト

• Sonic-AMG: Streaming Human Motion Generation from Spatial Audio [50.179160840865705]
  我々はSonic-AMGについて、空間オーディオから人間の動きをストリーミングする最初のフレームワークについて紹介する。 このモデルは、音響的内容とボディ相対的音源形状を別々のトークンとしてエンコードする。 さらに、サウンドイベントやソースロケーション間のコヒーレントな反応をリアルタイムに生成する機能も備えている。
  論文  参考訳（メタデータ） (2026-10-09T09:47:03Z)
• MoSAT: Human Motion Generation from Spatial Audio and Textual Description [72.30780840344869]
  本研究では,空間音声と自然言語を併用した人間の動作合成の新しい課題について検討する。 本稿では,空間音声と詳細なテキストアノテーションを組み合わせた動き系列のデータセットSTAMを紹介する。 自然言語の意図と方向空間音響に基づくフルボディモーション生成のための潜在フローマッチングフレームワークであるMoSATを紹介した。
  論文  参考訳（メタデータ） (2026-09-20T18:38:41Z)
• Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources [57.68713138159972]
  本稿では,ソーストラジェクトリとともにイベントセマンティクスを学習する時間分解型オーディオエンコーダを提案する。 実験により、この表現は意味的局所化を改善し、空間的および局所化指向のトレードオフよりも強い推論をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-06-12T05:58:31Z)
• Mamba-Enhanced Implicit Motion Learning for Audio-Driven Portrait Animation [7.715774279707922]
  本研究では,1つの静止画像とオーディオから,現実的で時間的に整合した人間の動画を生成するための,新しい暗黙の移動フレームワークを提案する。 私たちのアプローチでは、レンダリングからモーション予測を分離する2段階のパイプラインを使用します。
  論文  参考訳（メタデータ） (2026-06-02T09:43:55Z)
• MOSPA: Human Motion Generation Driven by Spatial Audio [83.31594478750682]
  本稿では,多種多様で高品質な空間音声・動きデータを含む,空間音声駆動型人体運動データセットについて紹介する。 本研究では,身体運動と空間音声の関係を忠実に把握する,MOSPAと呼ばれるスパティアルオーディオによって駆動される人間の運動生成のためのフレームワークを開発する。 本手法は,本課題における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-07-16T06:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。