論文の概要: Flow3D-OPD: Multi-Teacher On-Policy Distillation for 3D Geometry Generation with Flow-Matching Diffusion Transformer
- arxiv url: http://arxiv.org/abs/2609.07137v1
- Date: Mon, 07 Sep 2026 07:36:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.378718
- Title: Flow3D-OPD: Multi-Teacher On-Policy Distillation for 3D Geometry Generation with Flow-Matching Diffusion Transformer
- Title（参考訳）: Flow3D-OPD:フローマッチング拡散変換器を用いた3次元幾何生成のためのマルチ教師オンポリケーション
- Abstract要約: 三次元幾何生成のための2段階後学習フレームワークである textbfFlow3D-OPD を提案する。
第1段階では,事前学習モデルの基礎能力を高めるために準政治を利用する。
第2段階では、異質な専門知識を統一された学生モデルに統合する。
- 参考スコア（独自算出の注目度）: 26.474560149220917
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent image-to-3D generation models built on flow-matching diffusion Transformers (DiT) can produce high-fidelity meshes, yet their post-training strategy remains largely unexplored. There exist several critical bottlenecks in reinforcement learning: the inherent difficulty of defining comprehensive rewards for 3D geometric quality, and the gradient interference that arises when jointly optimizing heterogeneous objectives. Inspired by the practicability of on-policy distillation (OPD) in large language models and image generation, we propose \textbf{Flow3D-OPD}, a two-stage post-training framework that introduces multi-teacher distillation into 3D geometry generation. In the first stage, we utilize the semi-policy to enhance the foundational capability of the pretrained model and then design an agentic verifier for 3D geometric quality evaluation. Based on the verifier, we could cultivate domain-specialized teacher models via direct preference optimization (DPO). In the second stage, we consolidate heterogeneous expertise into a unified student model through on-policy distillation with hard task-routing sampling and gradient accumulation, which could mitigate the gradient interference in joint optimization. Without relying on elaborate modifications, our straightforward yet effective design achieves consistent improvements across all geometric quality dimensions and surpasses all teacher models in the average metric. Extensive experiments demonstrate that our approach provides an effective paradigm for reinforcement learning in 3D generation.
- Abstract（参考訳）: フローマッチング拡散変換器(DiT)をベースとした最近の画像から3D生成モデルは,高忠実度メッシュを生成することができるが,その後処理戦略はほとんど解明されていない。
3次元幾何学的品質に対する包括的報酬を定義することは本質的に困難であり、不均一な目的を共同最適化する際に生じる勾配干渉である。
大規模言語モデルと画像生成におけるオンライン蒸留(OPD)の実践性から着想を得て,多教師蒸留を3次元幾何生成に導入する2段階後学習フレームワークである \textbf{Flow3D-OPD} を提案する。
第1段階では,半政治を利用して事前学習モデルの基礎的能力を高め,それから3次元幾何学的品質評価のためのエージェント検証器を設計する。
検証結果に基づいて,ドメイン特化型教師モデルを直接選好最適化(DPO)により育成することができた。
第2段階では、多種多様な専門知識を、ハードタスクルーティングサンプリングと勾配蓄積によるオンライン蒸留により統合された学生モデルに統合することで、共同最適化における勾配干渉を軽減することができる。
精巧な修正を頼らずに、我々の単純で効果的な設計は、全ての幾何学的品質の次元にわたって一貫した改善を達成し、平均的な計量における教師モデルをすべて上回っている。
大規模な実験により,本手法は3次元生成における強化学習に有効なパラダイムを提供することが示された。
関連論文リスト
- FlowObject: Flow Steering for Bridging Generative Priors and Reconstruction Fidelity [34.142288038459704]
FlowObjectは、スパースビューの3D再構成をトレーニング不要でガイド付き逆問題として再構成するフレームワークである。
提案手法は、幾何学的完全性およびビュー依存外観忠実度の両方において、最先端の生成モデルと最適化に基づくフレームワークを著しく上回る。
論文 参考訳（メタデータ） (2026-06-17T12:42:09Z) - GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion [29.999238067855245]
GTAは幾何学的手法に基づく新しい画像から3次元世界生成手法である。
具体的には、単一の入力画像が与えられた場合、GTAは2つの専用ビデオ拡散モデルを持つ2段階のフレームワークを採用する。
広汎な実験により,提案手法は忠実度,視覚的品質,幾何学的精度で既存手法より一貫して優れていた。
論文 参考訳（メタデータ） (2026-05-13T03:43:02Z) - UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting [64.31900521467362]
既存の事前学習方法は、オブジェクトレベルとシーンレベルの両方の点群に対して等しく有効である。
UniPre3Dは,任意のスケールの点群やアーキテクチャの3Dモデルに対してシームレスに適用可能な,最初の統合事前学習手法である。
論文 参考訳（メタデータ） (2025-06-11T17:23:21Z) - Bridging Geometry-Coherent Text-to-3D Generation with Multi-View Diffusion Priors and Gaussian Splatting [51.08718483081347]
幾何学的に一貫した3次元生成を保証するために,複数視点の関節分布を事前に結合するフレームワークを提案する。
我々は,多視点先行を効果的に結合し,異なる視点で最適化を導出する効果的な最適化ルールを導出する。
我々は, 3D-GS から CSD を通じて改良された, 変形可能な四面体格子を用いて, 高品質で洗練されたメッシュを作製する。
論文 参考訳（メタデータ） (2025-05-07T09:12:45Z) - TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models [69.0220314849478]
TripoSGは、入力画像に正確に対応した高忠実度3Dメッシュを生成することができる新しい合理化形状拡散パラダイムである。
結果として得られた3D形状は、高解像度の能力によって細部が強化され、入力画像に異常な忠実さを示す。
3Dジェネレーションの分野における進歩と革新を促進するため、我々はモデルを一般公開する。
論文 参考訳（メタデータ） (2025-02-10T16:07:54Z) - DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。
幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。
テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
論文 参考訳（メタデータ） (2024-11-03T15:15:01Z) - Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds [6.69660410213287]
我々は,3次元表現学習と生成学習を深く統合する利点を探るため,Point-MGEと呼ばれる革新的なフレームワークを提案する。
形状分類において、Point-MGEはModelNet40データセットで94.2%(+1.0%)、ScanObjectNNデータセットで92.9%(+5.5%)の精度を達成した。
また,非条件条件と条件条件条件条件の両方で,Point-MGEが高品質な3D形状を生成可能であることを確認した。
論文 参考訳（メタデータ） (2024-06-25T07:57:03Z) - Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳（メタデータ） (2024-02-19T15:33:09Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳（メタデータ） (2023-03-26T12:03:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。