論文の概要: Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion
- arxiv url: http://arxiv.org/abs/2606.00299v1
- Date: Fri, 29 May 2026 19:28:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.264862
- Title: Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion
- Title（参考訳）: Real2SAM2Real:ビデオ拡散のための補完的コンテキストとしての生成3Dキャッシュ
- Abstract要約: Real2SAM2Realは、3Dリフトモデルを利用して、明示的に編集可能な3Dキャッシュを抽出するフレームワークである。
我々のフレームワークは拡散前の過度な信頼性によって引き起こされる典型的な破壊を克服する。
VDMで調整した3Dキャッシュは、構造的な穴と誤ったファサードによって引き起こされる視点の曖昧さを根絶します。
- 参考スコア（独自算出の注目度）: 18.992254109269144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Video Diffusion Models (VDMs) excel at synthesizing high-fidelity videos, enabling precise camera and scene control remains challenging. Existing methods predominantly rely on implicit diffusion priors to generate unobserved regions, inevitably leading to structural collapse during high-dynamic movements or complex occlusions. To address this challenge, we propose Real2SAM2Real, a framework that leverages 3D lifting models (e.g., SAM3D) to extract an explicitly editable 3D cache, serving as a robust geometric scaffold for the VDM. By capturing the entire 3D volume of foreground entities rather than just their visible shells, this cache injects holistic spatial priors into the VDM, providing dependable 3D-aware guidance for complex scene dynamics. To effectively leverage this 3D guidance while preserving pre-trained priors, we design a Soft Spatial-Aligned Injection mechanism alongside a minimally invasive fine-tuning strategy tailored for VDMs. Furthermore, we employ masked normal maps as a cross-modal bridge to construct a 3D-free data curation and perturbation pipeline. Extensive experiments demonstrate that Real2SAM2Real enables precise, decoupled control over both camera trajectories and multi-entity motions. By utilizing the complementary context from generative 3D caches, our framework overcomes typical breakdowns caused by over-reliance on diffusion priors, maintaining exceptional spatiotemporal consistency under large camera shifts and severe occlusions. Crucially, by decoupling geometry from appearance, our VDM-tailored 3D cache eradicates perspective ambiguities caused by structural holes and erroneous facades, as well as misleading cues from reflections and refractions. Project website is available at https://jiayi-wu-leo.github.io/real2sam2real
- Abstract（参考訳）: ビデオ拡散モデル(VDM)は高忠実度ビデオの合成に優れているが、正確なカメラとシーン制御を実現することは依然として困難である。
既存の手法は、観測されていない領域を生成するために暗黙の拡散に大きく依存しており、必然的に高ダイナミックな動きや複雑な閉塞の時に構造的な崩壊を引き起こす。
この課題に対処するため、我々は3Dリフトモデル(例えばSAM3D)を活用して、明示的に編集可能な3Dキャッシュを抽出するフレームワークであるReal2SAM2Realを提案し、VDMの堅牢な幾何学的足場として機能する。
このキャッシュは、目に見えるシェルだけでなく、前景の3Dボリューム全体をキャプチャすることで、VDMに全体論的空間的先行を注入し、複雑なシーンのダイナミクスに対する信頼性の高い3D対応ガイダンスを提供する。
この3Dガイダンスを事前訓練した前処理を効果的に活用するために,VDMに適した最小侵襲微調整戦略とともに,ソフト空間調整注入機構を設計した。
さらに,3次元自由なデータキュレーションと摂動パイプラインを構築するために,マスク付き正規写像をクロスモーダルブリッジとして利用する。
大規模な実験により、Real2SAM2Realは、カメラ軌跡と多心運動の両方を正確に分離した制御を可能にすることが実証された。
生成3Dキャッシュからの相補的コンテキストを利用することで,拡散前処理の過度な依存による典型的な破壊を克服し,大規模なカメラシフトや重度閉塞下では例外的な時空間一貫性を維持した。
重要なのは、形状を外観から切り離すことで、VDMで調整した3Dキャッシュは、構造穴や誤ファサードによる視界の曖昧さを解消し、反射や屈折から誤解を招く。
プロジェクトのWebサイトはhttps://jiayi-wu-leo.github.io/real2sam2realで公開されている。
関連論文リスト
- LooseControlVideo: Directorial Video Control using Spatial Blocking [44.01478894715323]
本稿では,疎結合な3Dボックスを"ブロッキング"プロキシとして使用することで,直感的で表現力のある制御を可能にするフレームワークであるLooseControlVideoを提案する。
DNOCSを付加したビデオデータセット上で、Wan 2.2のバックボーンを微調整することで、これを実現する。
その結果, 軌道誤差の1.2倍から3倍, 剛体運動の2倍, 咬合精度の1.5倍から2倍に改善した。
論文 参考訳（メタデータ） (2026-06-17T18:32:13Z) - Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。
生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。
厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
論文 参考訳（メタデータ） (2026-04-01T06:12:16Z) - I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。
われわれのアプローチの核心は3D対応メモリ検索戦略である。
検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
論文 参考訳（メタデータ） (2026-03-24T16:45:40Z) - Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding [50.098085774845195]
本稿では,大規模生成モデルにおいて暗黙の空間的先行性を活用することで,パラダイムシフトを提案する。
GeneEGA-3D (Video Extracted Generative Awareness) は,事前学習した映像拡散モデルを潜在世界シミュレータとして再利用するプラグイン・アンド・プレイ・フレームワークである。
論文 参考訳（メタデータ） (2026-03-19T17:59:58Z) - OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder [90.8453349494245]
本研究では,コヒーレントな3次元表現空間内で直接拡散を行うOneWorldを提案する。
OneWorldは、最先端の2Dベースの方法と比較して、クロスビューの一貫性に優れた高品質な3Dシーンを生成する。
論文 参考訳（メタデータ） (2026-03-17T03:43:37Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-12T10:02:23Z) - Mirage: One-Step Video Diffusion for Photorealistic and Coherent Asset Editing in Driving Scenes [11.72942978943414]
ビジョン中心の自動運転システムは、堅牢なパフォーマンスを達成するために、多種多様なスケーラブルなトレーニングデータに依存している。
ビデオオブジェクトの編集は、データ拡張に有望なパスを提供する。
既存の手法は、しばしば高視力と時間的コヒーレンスの両方を維持するのに苦労する。
Mirageは、フレーム間の時間的一貫性を保証するために、テキストとビデオの拡散の上に構築される。
論文 参考訳（メタデータ） (2025-12-30T13:40:23Z) - LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。
遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。
本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
論文 参考訳（メタデータ） (2024-12-12T18:58:42Z) - 3DTrajMaster: Mastering 3D Trajectory for Multi-Entity Motion in Video Generation [83.98251722144195]
制御可能なビデオ生成における従来の方法は、主に物体の動きを操作するために2D制御信号を利用する。
本稿では3次元空間におけるマルチエンタリティダイナミクスを制御する頑健なコントローラである3DTrajMasterを紹介する。
3DTrajMasterは,多心性3D動作を制御するための精度と一般化の両面において,新しい最先端技術を設定する。
論文 参考訳（メタデータ） (2024-12-10T18:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。