論文の概要: SonoWorld4D: From One Video to a 4D Audio-Visual Scene via Diffusion Synchronization
- arxiv url: http://arxiv.org/abs/2610.40640v1
- Date: Thu, 29 Oct 2026 17:58:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 06:15:28.483978
- Title: SonoWorld4D: From One Video to a 4D Audio-Visual Scene via Diffusion Synchronization
- Title（参考訳）: SonoWorld4D:Diffusion Synchronizationによるワンビデオから4Dオーディオ映像シーンへ
- Abstract要約: 我々は,ビデオから4D映像へと変換する新しいタスクであるVideo-to-4DAVSceneを紹介した。
モノクロ映像が与えられた場合,本手法は静止背景を360度生成し,動的,音を発する前景物体の運動軌跡を再構成する。
結果の4Dシーンは、リアルタイムのノベルビュービジュアルおよび空間オーディオレンダリングをサポートする。
- 参考スコア（独自算出の注目度）: 29.64658395133738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in visual scene generation has extended beyond static 3D scenes toward the more challenging problem of generating dynamic 4D scenes from minimal input. However, sound, despite being intrinsically coupled with dynamic objects and events, remains largely unmodeled in prior work. We introduce Video-to-4DAVScene, a new task that turns a video into an explorable, time-varying 4D audio-visual scene, and present the SonoWorld4D framework for this task. Given a monocular video, our method generates a 360 static background, reconstructs explicit motion trajectories of dynamic, sound-emitting foreground objects, and synthesizes a physically-grounded sound field consistent across multiple sources through dual-space audio diffusion synchronization. The resulting 4D scene supports real-time novel-view visual and spatial audio rendering. Evaluation on real-world dynamic scenes and a user study demonstrates SonoWorld4D generates 4D audio-visual scenes with perceptually realistic, physically grounded spatial audio consistent with scene geometry and visual content.
- Abstract（参考訳）: 視覚シーン生成の最近の進歩は、最小限の入力から動的4Dシーンを生成するというより困難な問題に向けて、静的な3Dシーンを超えて拡張されている。
しかし、音は動的物体や事象と本質的に結合されているにもかかわらず、以前の作品ではほとんどモデル化されていない。
本稿では,映像を探索可能な4次元映像シーンに変換する新しいタスクであるVideo-to-4DAVSceneを紹介し,このタスクのためのSonoWorld4Dフレームワークを提示する。
本手法は, モノクロ映像の静止背景を360度生成し, ダイナミックな音波発生前景物体の運動軌跡を再構成し, 複数音源に一貫した音場を両空間の音声拡散同期により合成する。
結果の4Dシーンは、リアルタイムのノベルビュービジュアルおよび空間オーディオレンダリングをサポートする。
実世界のダイナミックシーンの評価とユーザスタディにより、SanoWorld4Dは、シーン幾何学と視覚コンテンツと整合した知覚的にリアルで物理的に接地された空間オーディオを持つ4Dオーディオ視覚シーンを生成する。
関連論文リスト
- Scene2Sound: Auditory-Grounded Soundscape Generation for 3D Gaussian Worlds [51.55297978842271]
3D Gaussian Splatting(3DGS)は、撮影または生成された画像を自由に探索できる3Dワールドシミュレーションに変える。
既存の音声生成手法は、単一の画像や視点で条件付けされているため、その音はその観測と結びついており、リスナーが動いている間は、その音は一定に保たない。
本研究では,空間的に一貫した音環境を与えられた3DGS世界に対して聴覚的接地により生成するタスクを紹介する。
この基盤の上に構築されたトレーニング不要のフレームワークであるScene2Soundを紹介します。
論文 参考訳（メタデータ） (2026-08-01T06:04:34Z) - Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。
次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。
実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-05-25T06:59:26Z) - SonoWorld: From One Image to a 3D Audio-Visual Scene [29.64658395133738]
本稿では,1枚の画像から3次元映像を生成するImage2AVSceneを紹介する。
私たちは、この問題に最初に取り組むフレームワークであるSanoWorldを紹介します。
また,1ショットの音響学習と空間的音源分離への応用を実演する。
論文 参考訳（メタデータ） (2026-03-30T17:57:47Z) - WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling [63.37476802589492]
We present WorldReel, a 4D video that are native-temporally consistent。
WorldReelは、ポイントマップ、カメラ軌道、高密度フローを含む4Dシーン表現と共にフレームを生成する。
We believe that WorldReel bring video generation to 4D-consistent world modeling。
論文 参考訳（メタデータ） (2025-12-08T18:54:12Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。
我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。
ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - 3D Audio-Visual Segmentation [52.34970001474347]
ロボット工学やAR/VR/MRに様々な応用がある。
本稿では,事前学習した2次元オーディオ視覚基盤モデルから,使用可能な知識を統合することで特徴付ける新しいアプローチであるEchoSegnetを提案する。
実験により、EchoSegnetは、私たちの新しいベンチマークで、3D空間の音声オブジェクトを効果的にセグメント化できることが実証された。
論文 参考訳（メタデータ） (2024-11-04T16:30:14Z) - VividDream: Generating 3D Scene with Ambient Dynamics [13.189732244489225]
一つの入力画像やテキストプロンプトから周囲のダイナミックスを持つ探索可能な4Dシーンを生成する方法であるVividDreamを紹介する。
VividDreamは、さまざまな実画像とテキストプロンプトに基づいて、魅力的な4D体験を提供する。
論文 参考訳（メタデータ） (2024-05-30T17:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。