論文の概要: SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays

• arxiv url: http://arxiv.org/abs/2610.05610v1
• Date: Sun, 04 Oct 2026 23:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.42846
• Title: SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays
• Title（参考訳）: SEA-LM:ウェアラブルマイクロホンアレイのためのエゴセントリック空間オーディオ理解
• Abstract要約: 本稿では、ソース位置とエゴ中心の音声活動検出目標に基づいて訓練された、レイアウトフレキシブルな空間オーディオエンコーダFOACODERを紹介する。 我々は、これらの空間的オーディオ埋め込みを理解するために、MLLM(Multimodal Large Language Model)を訓練する。 評価セットでは,SEA-LMは,低方位,高高度MAE,高時間IoU,低外因性幻覚,低ソース率を実現している。
• 参考スコア（独自算出の注目度）: 57.109108837322005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied, ego-centric intelligence fundamentally requires the ability to comprehend spatial audio within complex environments. While large audio-language models excel at mono-channel reasoning, they lack spatial awareness, discarding critical spatial cues that enable sound localization and that can improve the disentanglement of overlapping sound sources. To address this, we present SEA-LM, a Spatial Audio Understanding model. First, we introduce FOACODER, a layout-flexible spatial audio encoder trained on source localization and ego-centric voice activity detection objectives to encode First Order Ambisonics derived from variable-count, variable-position smart-glasses arrays via beamforming. We train a Multimodal Large Language Model (MLLM) to understand these spatial audio embeddings through a two-stage curriculum spanning six tasks, including sound localization and spatially selective transcription in settings with multiple speakers and overlapping sounds. To prevent the transcription outputs from dominating the next token prediction loss and overwhelming the direction predictions, we introduce a Spatio-temporal Weighted Cross-Entropy Loss. On our evaluation set, SEA-LM achieves lower azimuth and elevation MAE, higher temporal IoU, lower external-source hallucination and missing-source rates, and lower WER on most transcription tasks than compared baselines, while remaining robust across 1,211 smart-glasses array configurations with 4 to 9 microphones.
• Abstract（参考訳）: エンボディード・エゴ中心の知性は、基本的に複雑な環境の中で空間的オーディオを理解する能力を必要とする。 大きな音声言語モデルは単チャンネル推論において優れているが、空間的認識が欠如し、音像定位を可能にする重要な空間的手がかりを捨て、重なり合う音源のゆがみを改善することができる。 そこで本研究では,空間的音声理解モデルSEA-LMを提案する。 まず,ビームフォーミングによる可変位置スマートグラスアレイから導かれる第1次アンビニクスを符号化するために,音源位置推定とエゴ中心音声活動検出を訓練したレイアウトフレキシブルな空間オーディオエンコーダFOACODERを紹介する。 マルチモーダル大言語モデル (MLLM) を訓練し, 音像定位や空間選択的書き起こしを含む6つの課題にまたがる2段階のカリキュラムを通して, 空間オーディオの埋め込みを理解する。 書き起こし出力が次のトークン予測損失を支配するのを防ぎ、方向予測を克服するために、時空間重み付きクロスエントロピー損失を導入する。 評価セットにおいて,SEA-LMは,4～9マイクロフォンを用いた1,211個のスマートグラスアレイ構成で頑健でありながら,低方位,高高度MAE,高時間IoU,低外部ソース幻覚,不足ソースレートを実現し,ほとんどの転写タスクにおいて,ベースラインよりも低いWERを実現している。

関連論文リスト

• SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former [27.10681532759409]
  空間オーディオ大言語モデル(LLM)は、エンボディエージェント、ウェアラブルアシスタント、没入型システムによって、音のイベントを認識し、ソースをローカライズし、それらの空間的関係を推論することができる。 これらの設計は、特にマルチソースシーンにおいて、個々の音事象とその空間特性の対応を維持するのを困難にしている。 音声エンコーディングからLLMアライメントまでの音響空間構造とソースレベル対応を保存したLLMを用いた空間オーディオインテリジェンスフレームワークSAILを提案する。
  論文  参考訳（メタデータ） (2026-09-28T05:23:23Z)
• Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding [58.490304707575596]
  本稿では,SO-Encoderを実装し,既存の大規模言語モデルに第1次アンビニクス(FOA)空間オーディオを注入する軽量な手法を提案する。 実験の結果,空間音響理解タスクにおいて,既存のオープンソースのLarge Audio-Language Models (LALM) とOmni LLMモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2026-06-09T11:50:06Z)
• SPUR: A Plug-and-Play Framework for Integrating Spatial Audio Understanding and Reasoning into Large Audio-Language Models [62.14165748145729]
  本研究では,空間知覚を伴う大規模オーディオスピーカモデルを備えた,軽量なプラグイン・アプローチであるSPURを紹介する。 SPURは、 (i) チャネルを回転認識、リスナー中心の空間特徴にマッピングし、マルチモーダルアダプタを介して対象のLALMに統合する第1次アンビニクス(FOA)エンコーダと、 (ii) SPUR-Setは、オープンソースのFOA記録を制御されたシミュレーションと組み合わせた空間QAデータセットで、相対方向、標高、距離、および監督された空間推論の重複を強調する。
  論文  参考訳（メタデータ） (2025-11-10T01:29:26Z)
• Sci-Phi: A Large Language Model Spatial Audio Descriptor [25.302416479626974]
  Sci-Phi は空間空間エンコーダとスペクトルエンコーダを備えた空間音響モデルである。 1回のパスで最大4つの方向の音源を列挙し、記述する。 性能をわずかに低下させるだけで、実際の部屋のインパルス応答に一般化する。
  論文  参考訳（メタデータ） (2025-10-07T03:06:02Z)
• BAT: Learning to Reason about Spatial Sounds with Large Language Models [45.757161909533714]
  本稿では,空間的シーン解析モデルの音知覚能力と大規模言語モデル(LLM)の自然言語推論能力を組み合わせたBATを提案する。 実験では,空間音知覚と推論の両方において,BATの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-02T17:34:53Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。