論文の概要: Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them
- arxiv url: http://arxiv.org/abs/2609.35023v1
- Date: Mon, 28 Sep 2026 12:22:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 17:43:27.943189
- Title: Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them
- Title（参考訳）: Proxy2World - 軽量プロキシから世界を生成するための学習
- Abstract要約: プロキシにより、クリエイターはシーンのレイアウトと動きを制御できる。
本稿では、通常のRGBDビデオからこれらの補完能力を学習する制御可能な世界モデルであるProxy2Worldを紹介する。
このモデルは, クロスモーダルフローマッチングにより, 深度条件付きRGBD生成とジョイントRGBD生成を共同で学習する。
- 参考スコア（独自算出の注目度）: 18.301148188230968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lightweight scene proxies let creators control scene layout and motion while leaving room for imagination in appearance, lighting, and visual effects. However, a suitable proxy is not uniquely defined, making paired proxy-video data difficult to construct automatically at scale. We present Proxy2World, a controllable world model that learns these complementary capabilities from ordinary posed RGBD videos, without training on authored proxy-video pairs. The model jointly learns depth-conditioned RGB generation and joint RGBD generation through cross-modal flow matching. Learning both tasks enables proxy-camera hybrid denoising at inference to follow the proxy structure while producing natural, detailed visuals. We further introduce ProxyBench to evaluate this capability across a diverse set of scenes, camera trajectories, and subject motions. Experiments on ProxyBench show that Proxy2World achieves a better balance between structural adherence and visual quality than camera-controlled and geometry-conditioned methods, supported by quantitative metrics, VLM assessments, human evaluations and diverse qualitative results.
- Abstract（参考訳）: ライトウェイトなシーンプロキシは、クリエイターがシーンのレイアウトや動きをコントロールし、外観、照明、視覚効果を想像する余地を残します。
しかし、適切なプロキシが一意に定義されていないため、ペア化されたプロキシビデオデータが大規模な自動構築が困難になる。
Proxy2Worldは、通常のRGBDビデオからこれらの補完機能を学習する制御可能な世界モデルである。
このモデルは, クロスモーダルフローマッチングにより, 深度条件付きRGBD生成とジョイントRGBD生成を共同で学習する。
両方のタスクを学習することで、プロキシカメラのハイブリッドを推論してプロキシ構造に従いながら、自然な詳細なビジュアルを生成することが可能になる。
さらに、プロクシーベンチを導入して、様々なシーン、カメラ軌跡、被写体の動きの様々なセットにまたがって、この能力を評価する。
ProxyBenchの実験によると、Proxy2Worldは、定量的メトリクス、VLMアセスメント、人間の評価、および様々な質的な結果によって支援された、カメラ制御および幾何学条件の手法よりも、構造的付着性と視覚的品質のバランスが良くなっている。
関連論文リスト
- PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning [20.27558026181277]
単一入力画像から領域認識編集計画を生成するビジョン言語モデルフレームワークであるPrismGPTを提案する。
広汎な意思決定空間のため,VLMをトレーニングして,世界レベルでも地域レベルでも同時に審美的欠陥を診断することは困難である。
実験の結果,PrismGPTはトレーニングデータの6%しか使用せず,最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2026-09-21T15:35:53Z) - SpatialCrafter: Single Image World Modeling with Generative 3D Proxies [41.996454262653735]
ビデオ拡散モデル(VDM)は一般にスパース点雲や2Dパノラマのような不完全信号の条件付けに依存している。
本稿では,高忠実度画像からシーン生成のためのグローバルな3Dプロキシを導入することで,これらの問題に対処する新しい2段階フレームワークを提案する。
プロキシ生成のために,空間的に整合した幾何学的に整合した3Dプロキシを予測できるポイントアンコールスパース構造(PaSS)フローモジュールを提案する。
外観改善のために、私たちはVDMを生成デファレント・リファインダーとして再構成し、プロキシ定義シーン幾何学に基づく高周波フォトリアリスティックの詳細を合成する。
論文 参考訳（メタデータ） (2026-08-27T12:58:37Z) - ProxyUp: Training-Free Proxy-Conditioned Video Generation for Controllable Dynamics [47.29298618190995]
本稿では,フォアグラウンドオブジェクトの動きを制御するために,粗いプロキシビデオが動的キャリアとして機能するプロキシ条件のビデオ生成について紹介する。
プロキシビデオとテキストプロンプトが与えられたら、新しいコンテンツを生成し、プロンプトに整合したプラウシブルなインタラクションを生成しながら、プロキシのダイナミクスを保存する新しいビデオを合成する。
シミュレーションと実世界のプロキシの両方の実験では、ProxyUpはダイナミックな忠実さとテキストアライメントにおいて、強力なビデオ編集とモーション転送ベースラインを上回っている。
論文 参考訳（メタデータ） (2026-07-04T06:39:40Z) - World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration [49.72473930573157]
私たちはWNM(World Narrative Model)というパラダイムを紹介します。
WNMは、エンドツーエンドのブラックボックスサンプリングを、メディア生成のための4D$プリヴィジュアル化に置き換える。
我々の人間-AIプラットフォームは、プロの映画制作パイプラインに合わせた世界の自動生成と前視化をサポートしています。
論文 参考訳（メタデータ） (2026-06-30T16:52:53Z) - Prisma-World: Camera-Controllable Multi-Agent Video World Model [67.72842238020192]
カメラ制御可能なマルチエージェントワールドモデルであるPrisma-Worldを紹介する。
マルチエージェント生成を、クロスビュー整合性のためのジョイントジオメトリア・アウェア・デノナイジングプロセスとして定式化する。
実験により, フレキシブルエージェント数を持つ高忠実度マルチエージェント映像を, 1つのPrisma-Worldモデルで生成できることが確認された。
論文 参考訳（メタデータ） (2026-06-08T13:59:50Z) - A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures [58.26804959656713]
JEPA(Joint-Embedding Predictive Architectures)を用いた表現と世界モデルを学習するためのオープンソースのライブラリであるEB-JEPAを提案する。
JEPAsは、ピクセル空間ではなく表現空間で予測することを学び、生成モデリングの落とし穴を避ける。
これらの表現がどのように行動条件付き世界モデルを駆動し、Two Roomsナビゲーションタスクで97%の計画成功率を達成するかを示す。
論文 参考訳（メタデータ） (2026-02-03T14:56:24Z) - AICL: Action In-Context Learning for Video Diffusion Model [124.39948693332552]
本稿では,参照ビデオにおける行動情報を理解する能力を備えた生成モデルを実現するAICLを提案する。
大規模な実験では、AICLが効果的にアクションをキャプチャし、最先端の世代パフォーマンスを達成することが示されている。
論文 参考訳（メタデータ） (2024-03-18T07:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。