論文の概要: SonicWorld: Source-Centric Latent Dynamics for Spatial Audio Reasoning
- arxiv url: http://arxiv.org/abs/2610.17131v1
- Date: Mon, 12 Oct 2026 17:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.427508
- Title: SonicWorld: Source-Centric Latent Dynamics for Spatial Audio Reasoning
- Title（参考訳）: SonicWorld:空間音響推論のためのソース中心遅延ダイナミクス
- Abstract要約: Sonic-Benchは480の室内シーンで2.8KのAmbisonicsクリップと28.8Kのターゲット固有の質問応答ペアで構成されている。
ベンチマークでは、単一および二重ソース設定でのローカライゼーション、距離推定、動き推論がカバーされている。
本研究では,物理,学習した音響,意味的特徴を学習遷移と繰り返し更新を通じて永続的なソース状態に統合するSonicWorldを提案する。
空間的LibriSpeechへのゼロショット転送では、SonicWorldは73.98%の方向精度と19.29の方位誤差を達成した。
- 参考スコア（独自算出の注目度）: 10.45847735740775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic spatial audio reasoning requires a model to associate changing acoustic observations with the correct source and recover its spatial state at a queried time or interval, a challenge intensified by overlapping speech and source motion. To study this problem, we introduce Sonic-Bench, comprising 2.8K first-order Ambisonics clips and 28.8K target-specific question-answer pairs across 480 simulated indoor scenes. The benchmark covers localization, distance estimation, and motion reasoning in single- and dual-source settings. We further propose SonicWorld, which integrates physical, learned acoustic, and semantic features into persistent source states through learned transitions and recurrent updates, and projects them into an Omni LLM for spatial reasoning. Compared with Spatial-Omni on the Sonic-Bench test split, SonicWorld improves direction accuracy from 31.98% to 34.69% and reduces azimuth error from 57.22° to 48.01°. In zero-shot transfer to Spatial LibriSpeech, SonicWorld retains strong localization performance, achieving 73.98% direction accuracy and 19.29° azimuth error, compared with 27.14% and 70.74° for Spatial-Omni.
- Abstract（参考訳）: 動的空間音響推論は、変化する音響観測を正しい音源に関連付け、その空間状態を待ち時間または間隔で回復させるモデルを必要とする。
そこで本研究では,480の室内シーンを対象とした2.8KファーストオーダーのAmbisonicsクリップと28.8Kターゲット固有の質問応答ペアからなるSonic-Benchを紹介する。
ベンチマークでは、単一および二重ソース設定でのローカライゼーション、距離推定、動き推論がカバーされている。
さらに、学習した遷移と繰り返し更新を通じて、物理的、学習した音響的、意味的な特徴を永続的なソース状態に統合するSonicWorldを提案し、空間的推論のためにそれらをOmni LLMに投影する。
Sonic-Benchテストの分割におけるSpatial-Omniと比較して、SonicWorldは方向精度を31.98%から34.69%に改善し、方位誤差を57.22°から48.01°に低減した。
ゼロショットのSpatial LibriSpeechへの転送では、SonicWorldは73.98%の方向精度と19.29°方位誤差を実現し、Spatial-Omniは27.14%、70.74°である。
関連論文リスト
- Sonic-AMG: Streaming Human Motion Generation from Spatial Audio [50.179160840865705]
我々はSonic-AMGについて、空間オーディオから人間の動きをストリーミングする最初のフレームワークについて紹介する。
このモデルは、音響的内容とボディ相対的音源形状を別々のトークンとしてエンコードする。
さらに、サウンドイベントやソースロケーション間のコヒーレントな反応をリアルタイムに生成する機能も備えている。
論文 参考訳（メタデータ） (2026-10-09T09:47:03Z) - SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models [55.56557714314683]
空間推論を直接的かつ診断的に評価する最初のベンチマークであるSpaceCastBenchを紹介する。
182の現実世界シーンからの質問は、静的認識、局所予測、グローバル予測という3つのレベルで16のタスクタイプにまたがる。
制御された解析により、ブリッジビューは分散観測の統合に重要であることが明らかになった。
論文 参考訳（メタデータ） (2026-10-08T17:44:17Z) - SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays [57.109108837322005]
本稿では、ソース位置とエゴ中心の音声活動検出目標に基づいて訓練された、レイアウトフレキシブルな空間オーディオエンコーダFOACODERを紹介する。
我々は、これらの空間的オーディオ埋め込みを理解するために、MLLM(Multimodal Large Language Model)を訓練する。
評価セットでは,SEA-LMは,低方位,高高度MAE,高時間IoU,低外因性幻覚,低ソース率を実現している。
論文 参考訳（メタデータ） (2026-10-04T23:20:54Z) - AcousticDiffusion: Semantically Conditioned Audio-Guided Diffusion Policy for Search-and-Rescue Assistance [2.1645011609137295]
人間の呼び出し者へのナビゲートは、視覚的接触が劣化または閉鎖された場所で作業する救助ロボットにとって重要な機能である。
本研究では,人間指向ナビゲーションのための意味的条件付き音声誘導拡散ポリシーであるAtlassianDiffusionを提案する。
追加のトレーニングなしに4倍のZSL-1上にオンラインで展開され、平均軸受誤差は64.9度であり、A*は98.2度、RTRは90.4度であり、平均プランナー計算時間は6.07msである。
論文 参考訳（メタデータ） (2026-09-18T14:05:48Z) - Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models [41.044279131530885]
本研究では、パノラマビデオと、移動音源の同期一階Ambisonics(FOA)オーディオを組み合わせて構築したベンチマークを示す。
40Kの動画と400Kの質問応答ペアを4つの能力レベルに分類し、音量認識、到着方向、音源距離、動きの軌跡、時間的に接地された音声視覚的推論をカバーしている。
本ベンチマークで提案するST-Omni-R1は、パノラマ的な視覚的文脈でFOAのセマンティック表現と軌道表現を実現し、漸進的なカリキュラム学習と推論木強化学習を通じて学習する。
論文 参考訳（メタデータ） (2026-08-10T11:06:28Z) - Adaptive Perturbation Selection for Contrastive Audio Decoding [17.576102240052503]
大規模な音声言語モデル(LALM)は、しばしば言語先行と音響的証拠をオーバーライドすることによって幻覚を与える。
対照的な復号法(CD)はトレーニングなしの緩和を提供するが、既存の方法はマスキングやノイズのような鈍い摂動に依存している。
対象とする音声摂動の多様なライブラリを評価し,各タスクに対して最適な負の分岐を適応的に選択することで,この設計空間を探索する。
論文 参考訳（メタデータ） (2026-06-30T22:55:22Z) - OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs [49.82435858489898]
OVOS-Benchは、人間中心の空間知能をストリーミングするための完全な注釈付きベンチマークである。
348のソースビデオに関する1,680の質問で構成されている。
それぞれの質問はクエリとエビデンスインターバルを持ち、評価において、モデルはクエリの前のプレフィックスのみを表示する。
論文 参考訳（メタデータ） (2026-06-02T16:51:32Z) - STAR-Bench: Probing Deep Spatio-Temporal Reasoning as Audio 4D Intelligence [81.94084852268468]
時間と3次元空間における音波力学の推論として定義される音声4次元インテリジェンスを形式化する。
STAR-Benchは、基礎的な音響知覚設定とホロスティックな時空間推論設定を組み合わせる。
データキュレーションパイプラインは、高品質なサンプルを保証するために2つの方法を使用します。
論文 参考訳（メタデータ） (2025-10-28T17:50:34Z) - EDmamba: Rethinking Efficient Event Denoising with Spatiotemporal Decoupled SSMs [23.63023704154084]
イベントカメラはマイクロ秒のレイテンシと広いダイナミックレンジを提供するが、生のストリームは空間的なアーティファクトによってマージされる。
EDmambaは、物理的メカニズムの異なる空間的および時間的ノイズが生じるというキーインサイトを取り入れた、コンパクトなイベントデノベーションフレームワークである。
この分離された設計は、ネットワークを88.9Kパラメータと2.27GPに蒸留し、1つのトランスフォーマー上で68msで100Kイベントのリアルタイムスループットを実現する。
論文 参考訳（メタデータ） (2025-05-08T16:27:27Z) - BAST: Binaural Audio Spectrogram Transformer for Binaural Sound Localization [4.096808965934516]
そこで本研究では,アネコ音と残響音の両環境における音響方位を予測するために,バイノーラル・オーディオ・スペクトログラム・トランスフォーマ(BAST)モデルを提案する。
本モデルでは, 角距離1.29度, 平均角誤差1e-3を全方位で達成する。
論文 参考訳（メタデータ） (2022-07-08T14:27:52Z) - Temporal-Spatial Neural Filter: Direction Informed End-to-End
Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。
主な課題は、複雑な音響環境とリアルタイム処理の要件である。
複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文 参考訳（メタデータ） (2020-01-02T11:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。