論文の概要: BinauralVAE: Spatial Audio Reconstruction For World Models
- arxiv url: http://arxiv.org/abs/2609.06837v1
- Date: Sun, 06 Sep 2026 21:20:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.324321
- Title: BinauralVAE: Spatial Audio Reconstruction For World Models
- Title（参考訳）: BinauralVAE:世界モデルのための空間的オーディオ再構成
- Abstract要約: BinauralVAEは、空間化されたオーディオ再構成のための複数のモデルを探索する、フレキシブルでオープンソースのパイプラインである。
提案手法は,様々な変分オートエンコーダアーキテクチャを評価し,遅延信号のロバスト表現を学習する。
このパイプラインは、将来のオーディオベースの世界モデルにおける状態表現の基礎を確立する。
- 参考スコア（独自算出の注目度）: 2.725160922570703
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Embodied artificial intelligence has historically very much relied on visual perception, leading to a proliferation of multiple vision-centric world models. However, this reliance fails to capture spatial understanding in its entirety and can even present vulnerabilities in environments with visual occlusions, low-light conditions, or blackouts-scenarios, where acoustic information becomes a critical alternative for spatial awareness and navigation. Despite its potential, research into realistic spatial audio and particularly the development of audio-centric world models remains sparse. In this technical report, we introduce BinauralVAE: a flexible, open-source pipeline (https://github.com/Luizerko/BinauralVAE) that explores multiple models for spatialized audio reconstruction, progressing from fundamental baselines to advanced, mathematically grounded architectures. Our approach evaluates various Variational Autoencoder architectures -- including complex-valued variants -- to learn robust latent representations of binaural signals. Developed alongside AudioWorldSim, our methodology leverages realistic acoustic data captured as a simulated robot navigates an environment. This pipeline establishes a foundation for state representation in a future audio-based world model, designed to map the direct causal connection between navigational actions and their resulting acoustic consequences, and helping to enable sound as an essential complementary modality for spatial knowledge acquisition.
- Abstract（参考訳）: 身体的人工知能は歴史的に視覚に大きく依存しており、複数の視覚中心の世界モデルの普及につながっている。
しかし、この依存は空間的理解を全般的に捉えることに失敗し、視覚的閉塞、低照度条件、ブラックアウト・scenariosといった環境において、音響情報が空間的認識とナビゲーションにとって重要な代替手段となる脆弱性を提示する可能性さえある。
その可能性にもかかわらず、現実的な空間オーディオの研究、特にオーディオ中心の世界モデルの開発はいまだに希薄である。
本稿では,BinauralVAEを紹介する: 柔軟なオープンソースのパイプライン (https://github.com/Luizerko/BinauralVAE)。
提案手法は,様々な変分オートエンコーダアーキテクチャ(複素数値変種を含む)を評価し,バイノーラル信号の頑健な潜在表現を学習する。
この手法はAudioWorldSimと共同で開発され、シミュレーションロボットが環境をナビゲートするときに捉えた現実的な音響データを活用する。
このパイプラインは、将来の音声ベースの世界モデルにおける状態表現の基礎を確立し、ナビゲーションアクションと結果の音響的結果との間の直接的な因果関係をマッピングし、空間的知識獲得に不可欠な補足的モダリティとして音を有効にすることを支援する。
関連論文リスト
- Audio-Visual Intelligence in Large Foundation Models [123.78167820053545]
オーディオ・ビジュアル・インテリジェンス(AVI)は人工知能の中心的フロンティアとして登場した。
急激な進歩にもかかわらず、文学は断片化され、多種多様なタスク、一貫性のない、異質な評価慣行にまたがっている。
この調査は、大規模な基盤モデルのレンズを通して、AVIに関する最初の包括的なレビューを提供する。
論文 参考訳（メタデータ） (2026-05-05T17:59:16Z) - SpatialV2A: Visual-Guided High-fidelity Spatial Audio Generation [15.901895888187711]
BinauralVGSoundは、空間的に認識されたビデオ・オーディオ生成をサポートするために設計された、最初の大規模ビデオ・バイオーラルオーディオデータセットである。
このフレームワークには視覚誘導型音響空間化モジュールが組み込まれており、生成したオーディオが現実的な空間特性と層状空間深さを示すことを保証する。
論文 参考訳（メタデータ） (2026-01-21T14:14:37Z) - The World is Not Mono: Enabling Spatial Understanding in Large Audio-Language Models [17.675850481660863]
聴覚場面分析(ASA)のための階層的枠組みを導入する。
本稿では,Qwen2-Audioのようなモデルを用いて,複雑な音響世界を理解し,推論するシステムを提案する。
我々の研究は、大規模モデルの強力な推論能力を総合音響シーン解析に活用するための明確な経路を提供する。
論文 参考訳（メタデータ） (2026-01-06T11:54:47Z) - Audio-Visual World Models: Towards Multisensory Imagination in Sight and Sound [5.591620304505415]
この研究は、AVWM (Audio-Visual World Models) のための最初の公式なフレームワークを提示する。
マルチモーダル環境シミュレーションを、部分的に観察可能な決定プロセスとして定式化し、音声・視覚的観察、きめ細かいアクション、タスク報酬を提供する。
本稿では,視覚学習と聴覚学習のバランスをとる新しいモダリティ・エキスパート・アーキテクチャを用いたオーディオ・ビジュアル・コンディショナル・トランスフォーマーを提案する。
論文 参考訳（メタデータ） (2025-11-30T13:11:56Z) - SPUR: A Plug-and-Play Framework for Integrating Spatial Audio Understanding and Reasoning into Large Audio-Language Models [62.14165748145729]
本研究では,空間知覚を伴う大規模オーディオスピーカモデルを備えた,軽量なプラグイン・アプローチであるSPURを紹介する。
SPURは、 (i) チャネルを回転認識、リスナー中心の空間特徴にマッピングし、マルチモーダルアダプタを介して対象のLALMに統合する第1次アンビニクス(FOA)エンコーダと、 (ii) SPUR-Setは、オープンソースのFOA記録を制御されたシミュレーションと組み合わせた空間QAデータセットで、相対方向、標高、距離、および監督された空間推論の重複を強調する。
論文 参考訳（メタデータ） (2025-11-10T01:29:26Z) - Mixture-of-Experts Framework for Field-of-View Enhanced Signal-Dependent Binauralization of Moving Talkers [3.5522191686718725]
信号マッチングにおけるフィールド・オブ・ビュー・エンハンスメントのための新しい専門家フレームワークを提案する。
提案手法は, 連続した話者の動きに適応し, ユーザが選択した方向からの音声を強調・抑制できる動的空間音響レンダリングを実現する。
これにより、移動音源のリアルタイム追跡と強化が可能になり、音声フォーカス、ノイズ低減、拡張現実および仮想現実におけるワールドロックされたオーディオなどのアプリケーションをサポートする。
論文 参考訳（メタデータ） (2025-09-16T21:30:06Z) - In-the-wild Audio Spatialization with Flexible Text-guided Localization [37.60344400859993]
没入感を高めるために、オーディオはAR、VR、組み込みAIアプリケーションにおける音の物体を空間的に認識する。
既存のオーディオ空間化法は一般に任意のモノラルオーディオを音声信号にマッピングできるが、複雑なマルチオブジェクトのユーザ対話環境において必要とされる柔軟性と対話性に欠けることが多い。
フレキシブルテキストプロンプトを利用したテキスト誘導型音声空間化(TAS)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-01T09:41:56Z) - ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling [57.1025908604556]
環境音響モデルは、室内環境の物理的特性によって音がどのように変換されるかを表す。
本研究では,非マップ環境の環境音響モデルを効率的に構築する新しい課題であるアクティブ音響サンプリングを提案する。
我々は,音声・視覚センサストリームからの情報を利用してエージェントナビゲーションを誘導し,最適な音響データサンプリング位置を決定する強化学習ポリシーであるActiveRIRを紹介する。
論文 参考訳（メタデータ） (2024-04-24T21:30:01Z) - Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark [65.79402756995084]
Real Acoustic Fields (RAF)は、複数のモードから実際の音響室データをキャプチャする新しいデータセットである。
RAFは密集した室内音響データを提供する最初のデータセットである。
論文 参考訳（メタデータ） (2024-03-27T17:59:56Z) - AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene
Synthesis [61.07542274267568]
我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。
音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。
本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
論文 参考訳（メタデータ） (2023-02-04T04:17:19Z) - Few-Shot Audio-Visual Learning of Environment Acoustics [89.16560042178523]
室内インパルス応答 (RIR) 関数は、周囲の物理的環境がリスナーが聴く音をどう変換するかをキャプチャする。
我々は、空間で観測された画像とエコーのスパースセットに基づいて、RIRを推測する方法を探る。
3次元環境のための最先端オーディオ視覚シミュレータを用いた実験において,本手法が任意のRIRを生成できることを実証した。
論文 参考訳（メタデータ） (2022-06-08T16:38:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。