論文の概要: Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding

• arxiv url: http://arxiv.org/abs/2606.10738v1
• Date: Tue, 09 Jun 2026 11:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.474037
• Title: Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding
• Title（参考訳）: 空間オムニ:FOA符号化によるマルチモーダルLLMにおける空間音声理解の統合
• Authors: Zhiyuan Zhu, Yixuan Chen, Yiwen Shao, Wenxiang Guo, Changhao Pan, Yu Zhang, Yuxiang Wang, Wei Liu, Houhua Zhang, Chengkuan Zeng, Wenbo Cheng, Yunxi Liu, Rui Yang, Steve Yves, Liefeng Bo, Zhou Zhao,
• Abstract要約: 本稿では,SO-Encoderを実装し,既存の大規模言語モデルに第1次アンビニクス(FOA)空間オーディオを注入する軽量な手法を提案する。 実験の結果,空間音響理解タスクにおいて,既存のオープンソースのLarge Audio-Language Models (LALM) とOmni LLMモデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 58.490304707575596
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent multimodal large language models mainly process audio as monaural signals, thereby discarding the spatial cues contained in spatial audio for sound localization, spatial relation reasoning, and spatial scene understanding. We propose Spatial-Omni, a lightweight method that implements SO-Encoder to inject First-Order Ambisonics (FOA) spatial audio into existing Omni LLMs as an independent modality, without modifying their original audio encoders. SO-Encoder provides spatial tokens with limited additional context cost and improves spatial audio understanding through efficient staged training. To support training and evaluation, we construct SO-Dataset, SO-QA, and SO-Bench from open-source data, real recordings, and simulations, containing 400K FOA spatial audio clips and 2.1M spatial question answering pairs. SO-Bench covers 16 spatial audio understanding subtasks, including basic detection and location estimation, spatial relation understanding, and complex spatial reasoning. Experiments show that Spatial-Omni outperforms existing open-source Large Audio-Language Models (LALMs) and Omni LLM models on spatial audio understanding tasks while retaining a reasonable level of general audio understanding. Code and data are available at https://github.com/dieKarotte/Spatial-Omni.
• Abstract（参考訳）: 近年の多モーダルな言語モデルでは、音声を単調信号として処理し、空間的音像定位、空間的関係推論、空間的シーン理解のために空間的音像に含まれる空間的手がかりを排除している。 我々は,SO-エンコーダを実装したSpatial-Omniを提案し,既存のOmni LLMに1次アンビニクス(FOA)空間オーディオを独立したモーダルとして注入する。 SO-Encoderは、空間トークンを限られた追加のコンテキストコストで提供し、効率的なステージドトレーニングを通じて空間音声理解を改善する。 トレーニングと評価を支援するため,400K FOA空間音声クリップと2.1M空間質問応答ペアを含むオープンソースデータ,実記録,シミュレーションからSO-Dataset,SO-QA,SO-Benchを構築する。 SO-Benchは16の空間的音声理解サブタスクをカバーしており、基本的な検出と位置推定、空間的関係理解、複雑な空間的推論を含む。 実験により,空間音声理解タスクにおいて,既存のオープンソースのLarge Audio-Language Models (LALM) とOmni LLMモデルよりも高い性能を示し,一般的な音声理解のレベルを維持した。 コードとデータはhttps://github.com/dieKarotte/Spatial-Omni.comで公開されている。

関連論文リスト

• SPUR: A Plug-and-Play Framework for Integrating Spatial Audio Understanding and Reasoning into Large Audio-Language Models [62.14165748145729]
  本研究では,空間知覚を伴う大規模オーディオスピーカモデルを備えた,軽量なプラグイン・アプローチであるSPURを紹介する。 SPURは、 (i) チャネルを回転認識、リスナー中心の空間特徴にマッピングし、マルチモーダルアダプタを介して対象のLALMに統合する第1次アンビニクス(FOA)エンコーダと、 (ii) SPUR-Setは、オープンソースのFOA記録を制御されたシミュレーションと組み合わせた空間QAデータセットで、相対方向、標高、距離、および監督された空間推論の重複を強調する。
  論文  参考訳（メタデータ） (2025-11-10T01:29:26Z)
• Sci-Phi: A Large Language Model Spatial Audio Descriptor [25.302416479626974]
  Sci-Phi は空間空間エンコーダとスペクトルエンコーダを備えた空間音響モデルである。 1回のパスで最大4つの方向の音源を列挙し、記述する。 性能をわずかに低下させるだけで、実際の部屋のインパルス応答に一般化する。
  論文  参考訳（メタデータ） (2025-10-07T03:06:02Z)
• Spatial Audio Motion Understanding and Reasoning [8.029049649310211]
  空間音響推論は、機械が出来事とその空間特性を理解することによって聴覚シーンを解釈することを可能にする。 空間音響エンコーダを導入し,複数の重なり合う事象を検出し,その空間特性,DoA(Direction of Arrival)および音源距離をフレームレベルで推定する。 第2に、移動音源を含む動的オーディオシーンに関する複雑な質問に答えるために、我々のモデルによって抽出された構造化空間属性に対して、大きな言語モデル(LLM)を条件付ける。
  論文  参考訳（メタデータ） (2025-09-18T06:53:22Z)
• SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
  SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。 入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-01T17:05:04Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model [2.2927722373373247]
  ImmerseDiffusionは音の空間的・時間的・環境的条件を条件とした3次元没入型音像を生成する。
  論文  参考訳（メタデータ） (2024-10-19T02:28:53Z)
• BAT: Learning to Reason about Spatial Sounds with Large Language Models [45.757161909533714]
  本稿では,空間的シーン解析モデルの音知覚能力と大規模言語モデル(LLM)の自然言語推論能力を組み合わせたBATを提案する。 実験では,空間音知覚と推論の両方において,BATの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-02T17:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。