論文の概要: Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

• arxiv url: http://arxiv.org/abs/2609.38748v1
• Date: Wed, 30 Sep 2026 01:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.957441
• Title: Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation
• Title（参考訳）: ステレオの世界:没入型ビデオ・オーディオ生成のための動的空間対応学習
• Abstract要約: 本稿では,ステレオサウンド生成に視覚源の動きを結合するフレームワークであるStereoBindを提案する。 StereoBindは既存のモデルに比べてステレオオーディオ生成における空間的アライメントを大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 54.145637770528744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent joint video-audio generation models have achieved strong semantic correspondence and temporal synchronization. However, applications such as AR/VR and interactive gaming further require stereo audio to provide an immersive sense, which remains largely overlooked. Effective stereo audio requires the perceived sound location to evolve consistently with the motion of its corresponding visual source. We refer to this property as Dynamic Spatial Correspondence and propose StereoBind, a framework that binds visual source motion to stereo sound generation. StereoBind uses motion tracks to coordinate visual motion and stereo audio through three complementary mechanisms. Visual Motion Binding establishes source-aware audiovisual correspondence, the Spatial Track Encoder captures absolute source positions, and Residual Track RoPE models relative motion. For supervision and evaluation, we construct StereoWorld-29K, a large-scale stereo audio-video dataset with paired motion tracks, and StereoWorldBench for measuring audiovisual spatial consistency. Experiments show that StereoBind substantially improves spatial alignment in stereo audio generation over existing models while preserving overall audiovisual quality.
• Abstract（参考訳）: 最近のジョイントビデオオーディオ生成モデルは,強い意味的対応と時間的同期を実現している。 しかし、AR/VRやインタラクティブゲームのようなアプリケーションは、没入感を与えるためにステレオオーディオを必要とする。 効果的なステレオオーディオでは、知覚された音の位置は、対応する視覚源の動きと一貫して進化する必要がある。 本稿では,この特性を動的空間対応と呼び,ステレオサウンド生成に視覚的音源運動を結合するフレームワークであるStereoBindを提案する。 StereoBindは3つの相補的なメカニズムを通じて、モーショントラックを使用して視覚運動とステレオオーディオを調整する。 Visual Motion Bindingは、ソースを意識したオーディオ視覚対応を確立し、Spatial Track Encoderは絶対的なソース位置をキャプチャし、Residual Track RoPEは相対的な動きをモデル化する。 監視と評価のために,2つのモーショントラックを備えた大規模ステレオオーディオビデオデータセットであるStereoWorld-29Kと,空間的空間的整合性を測定するStereoWorldBenchを構築した。 実験の結果,StereoBindは既存のモデルよりも空間的アライメントを著しく向上し,全体的なオーディオ視覚品質を保っていることがわかった。

関連論文リスト

• Audible World Models: Spatially Aware Sound Generation for 3D Worlds [10.246138787861524]
  我々は、音を生成された世界状態に組み込むフレームワークであるAudible World Modelsを紹介する。 本システムはパノラマ3Dプロキシを構築し,それを意味層に分離し,音生成対象と環境背景領域を識別し,各サウンドラベルに対してドライオーディオを合成する。 その後、これらの音源を再構成された幾何学に固定し、幾何学的音響伝搬を用いてリスナーに依存した空間音響を描画する。
  論文  参考訳（メタデータ） (2026-09-29T19:37:16Z)
• HelixWorld: A Real-time Interactive Audio-Visual World Model [80.08063153528869]
  HelixWorldはリアルタイムの対話型オーディオ・ビジュアル・ワールドモデルで、視覚シーンとカメラ地上の空間ステレオサウンドがユーザーインタラクションの下で共存する。 低遅延因果的相互作用を可能にするため,教師を数ステップのストリーミング学習生にオンラインでのトラジェクトリー蒸留損失を通じて蒸留する。 実験によると、HelixWorldは最先端のサイレントワールドモデルと視覚的忠実度と応答性で一致している。
  論文  参考訳（メタデータ） (2026-09-29T17:51:41Z)
• Stereo World Model: Camera-Guided Stereo Video Generation [52.3922115596956]
  本稿では、ステレオビデオ生成のための外観と両眼形状を共同で学習するカメラコンディショニングステレオワールドモデルであるStereoWorldを紹介する。 単分子RGBやRGBDのアプローチとは異なり、StereoWorldはRGBモードでのみ動作する。
  論文  参考訳（メタデータ） (2026-03-18T05:42:22Z)
• StereoPilot: Learning Unified and Efficient Stereo Conversion via Generative Priors [41.34827274890319]
  ステレオビデオ変換のための大規模な統合データセットUniStereoを紹介する。 本稿では,対象の視点を直接合成する効率的なフィードフォワードモデルであるStereoPilotを提案する。 実験により、StereoPilotは視覚的忠実度と計算効率の両方において最先端の手法を大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2025-12-18T18:59:50Z)
• StereoSync: Spatially-Aware Stereo Audio Generation from Video [36.230236159381995]
  StereoSyncは、時間的に参照ビデオと同期し、その視覚的コンテキストと空間的に整合するオーディオを生成するように設計された新しいモデルである。 StereoSync on Walking The Mapsは、さまざまな環境を歩き回るアニメキャラクターを特徴とするビデオゲームのビデオからなるデータセットである。
  論文  参考訳（メタデータ） (2025-10-07T11:51:58Z)
• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis [61.07542274267568]
  我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。 音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。 本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:17:19Z)
• Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation [96.18178553315472]
  本稿では,ステレオ音声の生成を容易にするために,膨大な量のモノデータを活用することを提案する。 ステレオ生成とソース分離の両方を統合フレームワークであるSep-Stereoに統合します。
  論文  参考訳（メタデータ） (2020-07-20T06:20:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。