論文の概要: World-R1: Reinforcing 3D Constraints for Text-to-Video Generation
- arxiv url: http://arxiv.org/abs/2604.24764v1
- Date: Mon, 27 Apr 2026 17:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:08.365301
- Title: World-R1: Reinforcing 3D Constraints for Text-to-Video Generation
- Title（参考訳）: World-R1:テキスト・ビデオ・ジェネレーションのための3D制約の強化
- Abstract要約: 本稿では,強化学習による映像生成を3次元制約に整合させるフレームワーク World-R1 を提案する。
事前学習した3D基礎モデルと視覚言語モデルからのフィードバックを用いてモデルを最適化する。
提案手法は,基礎モデルの本来の視覚的品質を保ちながら,3次元の一貫性を著しく向上させる。
- 参考スコア（独自算出の注目度）: 36.18760315762835
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent video foundation models demonstrate impressive visual synthesis but frequently suffer from geometric inconsistencies. While existing methods attempt to inject 3D priors via architectural modifications, they often incur high computational costs and limit scalability. We propose World-R1, a framework that aligns video generation with 3D constraints through reinforcement learning. To facilitate this alignment, we introduce a specialized pure text dataset tailored for world simulation. Utilizing Flow-GRPO, we optimize the model using feedback from pre-trained 3D foundation models and vision-language models to enforce structural coherence without altering the underlying architecture. We further employ a periodic decoupled training strategy to balance rigid geometric consistency with dynamic scene fluidity. Extensive evaluations reveal that our approach significantly enhances 3D consistency while preserving the original visual quality of the foundation model, effectively bridging the gap between video generation and scalable world simulation.
- Abstract（参考訳）: 最近のビデオ基盤モデルは印象的な視覚合成を示すが、幾何学的不整合に悩まされることが多い。
既存の手法では3Dプリエントをアーキテクチャの変更によって注入しようとするが、高い計算コストとスケーラビリティの制限がしばしば発生する。
本稿では,強化学習による映像生成を3次元制約に整合させるフレームワーク World-R1 を提案する。
このアライメントを容易にするために、世界シミュレーションに適した特別な純粋テキストデータセットを導入する。
Flow-GRPOを利用することで、事前訓練された3D基礎モデルと視覚言語モデルからのフィードバックを用いてモデルを最適化し、基盤となるアーキテクチャを変更することなく構造的一貫性を強制する。
さらに,動的シーンの流動性と幾何的整合性のバランスをとるために,周期的に分離したトレーニング戦略を採用する。
広範に評価した結果,本手法は基礎モデルの本来の視覚的品質を保ちながら3次元の一貫性を著しく向上させ,映像生成と拡張性のある世界シミュレーションのギャップを効果的に埋めることが判明した。
関連論文リスト
- Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video [69.94904173314505]
2つのステージ上に構築された幾何グラウンドのフレームワークであるGround4Dを提案する。
まず,モノクロ映像から複数視点の立体形状とカメラポーズを再構成する。
第2に,動的ガウススプラッティングによる幾何整合性を考慮した改良を行う。
論文 参考訳（メタデータ） (2026-06-27T09:27:42Z) - FlowObject: Flow Steering for Bridging Generative Priors and Reconstruction Fidelity [34.142288038459704]
FlowObjectは、スパースビューの3D再構成をトレーニング不要でガイド付き逆問題として再構成するフレームワークである。
提案手法は、幾何学的完全性およびビュー依存外観忠実度の両方において、最先端の生成モデルと最適化に基づくフレームワークを著しく上回る。
論文 参考訳（メタデータ） (2026-06-17T12:42:09Z) - GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion [29.999238067855245]
GTAは幾何学的手法に基づく新しい画像から3次元世界生成手法である。
具体的には、単一の入力画像が与えられた場合、GTAは2つの専用ビデオ拡散モデルを持つ2段階のフレームワークを採用する。
広汎な実験により,提案手法は忠実度,視覚的品質,幾何学的精度で既存手法より一貫して優れていた。
論文 参考訳（メタデータ） (2026-05-13T03:43:02Z) - Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors [61.34273238077091]
本稿では,物体の単一画像からオービタルビデオを生成する新しい手法を提案する。
本手法は,最先端の手法と比較して,視覚的品質,形状リアリズム,多視点整合性を実現している。
論文 参考訳（メタデータ） (2026-04-14T05:35:46Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳（メタデータ） (2026-02-24T08:41:40Z) - Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。
階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。
実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
論文 参考訳（メタデータ） (2026-02-08T09:53:21Z) - TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。
近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。
本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-02T02:22:20Z) - MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts [50.37005070020306]
MoREは、Mixture-of-Experts (MoE)アーキテクチャに基づいた、密集した3Dビジュアル基盤モデルである。
MoREは、幾何推定を安定させ、洗練する信頼に基づく深度補正モジュールを組み込んでいる。
高忠実な表面正規予測のために,高密度なセマンティック特徴とグローバルな3Dバックボーン表現を統合する。
論文 参考訳（メタデータ） (2025-10-31T06:54:27Z) - Epipolar Geometry Improves Video Generation Models [73.44978239787501]
3D一貫性のあるビデオ生成は、生成および再構成タスクにおける多くの下流アプリケーションに大きな影響を与える可能性がある。
エピポーラ幾何学的制約が現代のビデオ拡散モデルをどのように改善するかを考察する。
データ駆動型ディープラーニングを古典的幾何学的コンピュータビジョンでブリッジすることで、空間的に一貫したビデオを生成する実用的な方法を提案する。
論文 参考訳（メタデータ） (2025-10-24T16:21:37Z) - End-to-End Fine-Tuning of 3D Texture Generation using Differentiable Rewards [8.953379216683732]
本稿では,人間のフィードバックを3次元テクスチャパイプラインに直接埋め込む,エンドツーエンドの微分可能・強化学習不要なフレームワークを提案する。
幾何学的および外見的モジュールによる好み信号のバックプロパゲーションにより、3次元幾何学的構造を尊重し、所望の基準と整合するテクスチャを生成する。
論文 参考訳（メタデータ） (2025-06-23T06:24:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。