論文の概要: SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former

• arxiv url: http://arxiv.org/abs/2609.34347v1
• Date: Mon, 28 Sep 2026 05:23:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:35:44.235776
• Title: SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former
• Title（参考訳）: SAIL:分散音響空間符号化とDual-Stream Q-Formerによる大規模言語モデルを用いた空間オーディオインテリジェンス
• Abstract要約: 空間オーディオ大言語モデル(LLM)は、エンボディエージェント、ウェアラブルアシスタント、没入型システムによって、音のイベントを認識し、ソースをローカライズし、それらの空間的関係を推論することができる。 これらの設計は、特にマルチソースシーンにおいて、個々の音事象とその空間特性の対応を維持するのを困難にしている。 音声エンコーディングからLLMアライメントまでの音響空間構造とソースレベル対応を保存したLLMを用いた空間オーディオインテリジェンスフレームワークSAILを提案する。
• 参考スコア（独自算出の注目度）: 27.10681532759409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial audio large language models (LLMs) enable embodied agents, wearable assistants, and immersive systems to recognize sound events, localize sources, and reason about their spatial relationships. However, existing spatial audio LLMs often rely on early fusion of acoustic and spatial features and source-agnostic token representations. These designs make it difficult to preserve the correspondence between individual sound events and their spatial attributes, particularly in multi-source scenes. To address this limitation, we propose SAIL, a Spatial Audio Intelligence framework with LLMs that preserves acoustic-spatial structure and source-level correspondence from audio encoding to LLM alignment. SAIL introduces a Disentangled Spatial Audio Transformer that represents Mel-spectrogram and interaural phase difference features as separate acoustic and spatial streams. Source-discriminative task queries further learn event, direction, and distance information for each source. A Dual-Stream Q-Former then aligns the two streams with the LLM using acoustic and spatial queries organized by source slots. Compared with the early-fusion baseline, SAIL achieves consistent improvements in dual-source sound event detection, direction and distance estimation, and spatial reasoning. These results demonstrate the importance of structured, source-discriminative audio representations for multi-source spatial understanding and reasoning.
• Abstract（参考訳）: 空間音声大言語モデル(LLM)は、エンボディエージェント、ウェアラブルアシスタント、没入型システムによって、音のイベントを認識し、ソースをローカライズし、それらの空間的関係を推論することができる。 しかし、既存の空間オーディオLLMは、しばしば音響的特徴と空間的特徴とソースに依存しないトークン表現の早期融合に依存している。 これらの設計は、特にマルチソースシーンにおいて、個々の音事象とその空間特性の対応を維持するのを困難にしている。 この制限に対処するため,音声エンコーディングからLLMアライメントまでの音響空間構造とソースレベル対応を保存した空間オーディオインテリジェンスフレームワークであるSAILを提案する。 SAILはMel-spectrogramと音間位相差を別々の音響ストリームと空間ストリームとして表現するDistangled Spatial Audio Transformerを導入している。 ソース識別タスククエリは、各ソースのイベント、方向、距離情報をさらに学習する。 デュアルストリームQ-Formerは、ソーススロットによって整理された音響的および空間的クエリを使用して、2つのストリームをLLMに整列する。 早期融合ベースラインと比較して、SAILは二重音源音事象の検出、方向と距離の推定、空間的推論において一貫した改善を実現している。 これらの結果から,複数音源の空間的理解と推論のための音源識別音声表現の重要性が示された。

関連論文リスト

• Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources [57.68713138159972]
  本稿では,ソーストラジェクトリとともにイベントセマンティクスを学習する時間分解型オーディオエンコーダを提案する。 実験により、この表現は意味的局所化を改善し、空間的および局所化指向のトレードオフよりも強い推論をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-06-12T05:58:31Z)
• Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding [58.490304707575596]
  本稿では,SO-Encoderを実装し,既存の大規模言語モデルに第1次アンビニクス(FOA)空間オーディオを注入する軽量な手法を提案する。 実験の結果,空間音響理解タスクにおいて,既存のオープンソースのLarge Audio-Language Models (LALM) とOmni LLMモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2026-06-09T11:50:06Z)
• SPUR: A Plug-and-Play Framework for Integrating Spatial Audio Understanding and Reasoning into Large Audio-Language Models [62.14165748145729]
  本研究では,空間知覚を伴う大規模オーディオスピーカモデルを備えた,軽量なプラグイン・アプローチであるSPURを紹介する。 SPURは、 (i) チャネルを回転認識、リスナー中心の空間特徴にマッピングし、マルチモーダルアダプタを介して対象のLALMに統合する第1次アンビニクス(FOA)エンコーダと、 (ii) SPUR-Setは、オープンソースのFOA記録を制御されたシミュレーションと組み合わせた空間QAデータセットで、相対方向、標高、距離、および監督された空間推論の重複を強調する。
  論文  参考訳（メタデータ） (2025-11-10T01:29:26Z)
• Sci-Phi: A Large Language Model Spatial Audio Descriptor [25.302416479626974]
  Sci-Phi は空間空間エンコーダとスペクトルエンコーダを備えた空間音響モデルである。 1回のパスで最大4つの方向の音源を列挙し、記述する。 性能をわずかに低下させるだけで、実際の部屋のインパルス応答に一般化する。
  論文  参考訳（メタデータ） (2025-10-07T03:06:02Z)
• Spatial Audio Motion Understanding and Reasoning [8.029049649310211]
  空間音響推論は、機械が出来事とその空間特性を理解することによって聴覚シーンを解釈することを可能にする。 空間音響エンコーダを導入し,複数の重なり合う事象を検出し,その空間特性,DoA(Direction of Arrival)および音源距離をフレームレベルで推定する。 第2に、移動音源を含む動的オーディオシーンに関する複雑な質問に答えるために、我々のモデルによって抽出された構造化空間属性に対して、大きな言語モデル(LLM)を条件付ける。
  論文  参考訳（メタデータ） (2025-09-18T06:53:22Z)
• SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
  SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。 入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-01T17:05:04Z)
• BAT: Learning to Reason about Spatial Sounds with Large Language Models [45.757161909533714]
  本稿では,空間的シーン解析モデルの音知覚能力と大規模言語モデル(LLM)の自然言語推論能力を組み合わせたBATを提案する。 実験では,空間音知覚と推論の両方において,BATの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-02T17:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。