論文の概要: MoSAT: Human Motion Generation from Spatial Audio and Textual Description

• arxiv url: http://arxiv.org/abs/2609.23797v1
• Date: Sun, 20 Sep 2026 18:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.001186
• Title: MoSAT: Human Motion Generation from Spatial Audio and Textual Description
• Title（参考訳）: MoSAT:空間オーディオとテキスト記述による人間の動作生成
• Abstract要約: 本研究では,空間音声と自然言語を併用した人間の動作合成の新しい課題について検討する。 本稿では,空間音声と詳細なテキストアノテーションを組み合わせた動き系列のデータセットSTAMを紹介する。 自然言語の意図と方向空間音響に基づくフルボディモーション生成のための潜在フローマッチングフレームワークであるMoSATを紹介した。
• 参考スコア（独自算出の注目度）: 72.30780840344869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human motion is shaped by both external acoustic events and behavioral intent: spatial audio conveys environmental cues that elicit or guide a response, while text specifies the desired action and how it should be performed. In this paper, we study the novel task of human motion synthesis jointly conditioned on spatial audio and natural language, a problem that has been largely overlooked in previous research. To support this task, We introduce STAM, a dataset of motion sequences paired with spatial audio and detailed textual annotations whose rich vocabulary affords precise and nuanced specification of human motions. We further introduce MoSAT, a latent flow-matching framework for full-body motion generation jointly conditioned on natural-language intent and directional spatial-audio cues through hierarchical cross-attention before generating motion. Such a hierarchical design enhances temporally coherent and semantically aligned motion sequences. We also develop tri-modal evaluators for comprehensive evaluation on this novel task. Extensive experiments show that MoSAT achieves the SOTA performance by leveraging spatial audio's intrinsic motion-shaping properties alongside textual semantics, enabling precise and diverse motion in various scenarios.
• Abstract（参考訳）: 人間の動きは外部の音響的事象と行動意図の両方によって形作られ、空間的オーディオは反応を誘発または誘導する環境的手がかりを伝達し、テキストは所望の動作とその実行方法を規定する。 本稿では,空間音声と自然言語を併用した人間の動作合成の新しい課題について検討する。 この課題を支援するために,人間の動きの正確かつニュアンスに富んだ記述が可能な,空間音声と詳細なテキストアノテーションを組み合わせた動き系列のデータセットSTAMを紹介した。 さらに,モーサット(MoSAT)は,動きを生成する前に階層的交叉注意を通して,自然言語意図と指向性空間音響的手がかりを併用したフルボディ動作生成のための潜在フローマッチングフレームワークである。 このような階層的な設計は、時間的コヒーレントでセマンティックに整合した動き列を強化する。 また,この課題を包括的に評価するための三モーダル評価器を開発した。 広汎な実験により,空間音響の本質的な動き生成特性とテキスト意味論を併用し,様々なシナリオにおける高精度かつ多様な動きを実現することで,SOTA性能を実現することが確認された。

関連論文リスト

• Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning [56.6025512458557]
  動き言語検索は、自然言語と人間の動きの間の意味的ギャップを埋めることを目的としている。 既存のアプローチは主に、全動作シーケンスとグローバルテキスト表現の整合性に重点を置いている。 本研究では,微粒な動き言語検索のためのPST学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T16:00:12Z)
• MOSPA: Human Motion Generation Driven by Spatial Audio [83.31594478750682]
  本稿では,多種多様で高品質な空間音声・動きデータを含む,空間音声駆動型人体運動データセットについて紹介する。 本研究では,身体運動と空間音声の関係を忠実に把握する,MOSPAと呼ばれるスパティアルオーディオによって駆動される人間の運動生成のためのフレームワークを開発する。 本手法は,本課題における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-07-16T06:33:11Z)
• UniHM: Universal Human Motion Generation with Object Interactions in Indoor Scenes [26.71077287710599]
  シーン認識型人間の動作に拡散に基づく生成を利用する統一運動言語モデルUniHMを提案する。 UniHMは、複雑な3DシーンでText-to-MotionとText-to-Human-Object Interaction (HOI)の両方をサポートする最初のフレームワークである。 提案手法では, 動作リアリズムを改善するために, 連続した6DoF運動と離散的な局所運動トークンを融合する混合運動表現, 従来のVQ-VAEを上回り, 再現精度と生成性能を両立させる新規なLook-Up-Free Quantization VAE, 強化されたバージョンの3つの重要なコントリビューションを導入している。
  論文  参考訳（メタデータ） (2025-05-19T07:02:12Z)
• Autonomous Character-Scene Interaction Synthesis from Text Instruction [45.255215402142596]
  そこで本研究では,単一テキスト命令と目標位置から直接,多段階のシーン認識インタラクション動作を合成するフレームワークを提案する。 提案手法では,次の動作セグメントを自動回帰拡散モデルで合成し,各動作ステージの遷移を予測する自律スケジューラを用いる。 本稿では,40種類の動作を含む120の屋内シーンにおいて,16時間の動作シーケンスからなる総合的な動きキャプチャーデータセットについて述べる。
  論文  参考訳（メタデータ） (2024-10-04T06:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。