論文の概要: Audible World Models: Spatially Aware Sound Generation for 3D Worlds

• arxiv url: http://arxiv.org/abs/2609.38444v1
• Date: Tue, 29 Sep 2026 19:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.657086
• Title: Audible World Models: Spatially Aware Sound Generation for 3D Worlds
• Title（参考訳）: 可聴世界モデル:3次元世界のための空間認識音生成
• Abstract要約: 我々は、音を生成された世界状態に組み込むフレームワークであるAudible World Modelsを紹介する。 本システムはパノラマ3Dプロキシを構築し,それを意味層に分離し,音生成対象と環境背景領域を識別し,各サウンドラベルに対してドライオーディオを合成する。 その後、これらの音源を再構成された幾何学に固定し、幾何学的音響伝搬を用いてリスナーに依存した空間音響を描画する。
• 参考スコア（独自算出の注目度）: 10.246138787861524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text- and image-conditioned world generators can create visually rich 3D environments, yet these worlds often remain silent or rely on soundtracks synthesized solely from text or rendered video. Although such audio can convey what should be heard, it lacks an explicit representation of where sound sources are located and how their perceived sound should vary with listener movement. We introduce Audible World Models, a training-free framework that incorporates sound into the generated world state. Starting from a text prompt, our system constructs a panoramic 3D proxy, separates it into semantic layers, identifies sound-producing foreground objects and ambient background regions, and synthesizes dry audio for each sound label. It then anchors these sources to reconstructed geometry and renders listener-dependent spatial audio using geometric acoustic propagation. By explicitly linking semantics, geometry, and sound propagation, the framework maintains persistent source locations while adapting the rendered audio to changes in listener viewpoint and motion. Experiments across 80 generated scenes demonstrate substantial gains in spatial consistency over text-, video-, and panorama-conditioned baselines, while preserving competitive semantic alignment. VLM-based assessments and human evaluations further indicate that our soundtracks are preferred for their audio-visual consistency, spatial plausibility, and motion-dependent behavior.
• Abstract（参考訳）: テキスト・コンディショニングされた世界ジェネレータは視覚的にリッチな3D環境を作ることができるが、これらの世界はしばしば静かであり、テキストやレンダリングビデオからのみ合成されたサウンドトラックに依存している。 このような音声は、何を聞くべきかを伝えることができるが、音源の位置や知覚音が聴取者の動きによってどのように変化するかを明確に表現するものではない。 我々は、音を生成された世界状態に組み込む訓練不要のフレームワークであるAudible World Modelsを紹介する。 テキストプロンプトから始めて,パノラマ3Dプロキシを構築し,それを意味層に分離し,音生成前景や周囲の背景領域を識別し,各サウンドラベルに対してドライオーディオを合成する。 その後、これらの音源を再構成された幾何学に固定し、幾何学的音響伝搬を用いてリスナーに依存した空間音響を描画する。 意味論、幾何学、音の伝搬を明示的にリンクすることで、フレームワークは、描画されたオーディオをリスナーの視点と動きの変化に適応させながら、永続的なソース位置を維持する。 80シーンにわたる実験では、テキスト、ビデオ、パノラマ条件のベースラインよりも空間的一貫性が著しく向上し、競争力のあるセマンティックアライメントが保たれた。 VLMに基づく評価と人間による評価は、音声-視覚的整合性、空間的可視性、動きに依存した行動に対して、我々のサウンドトラックが好ましいことを示している。

関連論文リスト

• Scene2Sound: Auditory-Grounded Soundscape Generation for 3D Gaussian Worlds [51.55297978842271]
  3D Gaussian Splatting(3DGS)は、撮影または生成された画像を自由に探索できる3Dワールドシミュレーションに変える。 既存の音声生成手法は、単一の画像や視点で条件付けされているため、その音はその観測と結びついており、リスナーが動いている間は、その音は一定に保たない。 本研究では,空間的に一貫した音環境を与えられた3DGS世界に対して聴覚的接地により生成するタスクを紹介する。 この基盤の上に構築されたトレーニング不要のフレームワークであるScene2Soundを紹介します。
  論文  参考訳（メタデータ） (2026-08-01T06:04:34Z)
• Visual Acoustic Fields [39.43953430861896]
  本研究では,3次元空間内の音や視覚信号をブリッジするフレームワークであるVisual Acoustic Fieldsを提案する。 提案手法は,音生成と音像定位という2つの重要なモジュールを特徴とする。 私たちの知る限りでは、これが3Dコンテキストで視覚信号と音響信号を接続する最初のデータセットです。
  論文  参考訳（メタデータ） (2025-03-31T16:16:10Z)
• AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis [62.33446681243413]
  ビュー音響合成は、音源が3Dシーンで出力するモノのオーディオを考慮し、任意の視点でオーディオを描画することを目的としている。 既存の手法では、音声合成の条件として視覚的手がかりを利用するため、NeRFベースの暗黙モデルが提案されている。 本研究では,シーン環境全体を特徴付ける新しいオーディオ・ビジュアル・ガウス・スプレイティング(AV-GS)モデルを提案する。 AV-GSが実世界のRWASやシミュレーションベースのSoundSpacesデータセットの既存の代替品よりも優れていることを検証する。
  論文  参考訳（メタデータ） (2024-06-13T08:34:12Z)
• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis [61.07542274267568]
  我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。 音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。 本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:17:19Z)
• Listen2Scene: Interactive material-aware binaural sound propagation for reconstructed 3D scenes [69.03289331433874]
  仮想現実(VR)および拡張現実(AR)アプリケーションのためのエンドツーエンドオーディオレンダリング手法(Listen2Scene)を提案する。 実環境の3次元モデルに対する音響効果を生成するために,ニューラルネットを用いた新しい音響伝搬法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T04:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。