論文の概要: DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

• arxiv url: http://arxiv.org/abs/2503.22677v1
• Date: Fri, 28 Mar 2025 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:48.463598
• Title: DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness
• Title（参考訳）: DSO:物理音のシミュレーションフィードバックによる3次元発電機の調整
• Authors: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi,
• Abstract要約: ほとんどの3Dオブジェクトジェネレータは、アプリケーションに必要な物理的制約を無視して、美的品質に重点を置いている。 そのような制約の一つは、3Dオブジェクトが自己支持(つまり、重力下でのバランスが保たれていること)である。 3Dジェネレータが安定な3Dオブジェクトを直接出力する可能性を高めるために、(微分不可能な)シミュレータからのフィードバックを利用するためのフレームワークであるダイレクトシミュレーション最適化(DSO)を提案する。
• 参考スコア（独自算出の注目度）: 67.97235923372035
• License:
• Abstract: Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.
• Abstract（参考訳）: ほとんどの3Dオブジェクトジェネレータは美的品質に重点を置いており、アプリケーションに必要な物理的な制約を無視している。 そのような制約の一つは、3Dオブジェクトが自己支持(つまり、重力下でのバランスが保たれていること)である。 安定な3Dオブジェクトを生成するための以前のアプローチでは、テスト時に幾何を最適化するために微分可能な物理シミュレータを使用していた。 生成モデルと外部からのフィードバックの整合性に関する文献から着想を得て、3Dジェネレータが安定な3Dオブジェクトを直接出力する可能性を高めるために、(微分不可能な)シミュレータからのフィードバックを利用するためのフレームワークであるダイレクト・シミュレーション・最適化(DSO)を提案する。 物理シミュレータから得られる安定性スコアをラベル付けした3次元オブジェクトのデータセットを構築する。 そこで, 直接選好最適化 (DPO) や直接報奨最適化 (DRO) を通じて, 安定性スコアをアライメント指標として用いた3Dジェネレータの微調整を行う。 実験の結果, DPO と DRO のどちらかを対象とする微調整フィードフォワードジェネレータは, テスト時最適化よりもはるかに高速で, 安定なオブジェクトを生成する可能性が示唆された。 特に、DSOフレームワークは、トレーニング用の基盤となる3Dオブジェクトなしでも機能し、3Dジェネレータは、自身の出力でシミュレーションフィードバックを自動的に収集することで、自己改善できる。

関連論文リスト

• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication [50.541882834405946]
  我々は,テキストから3Dへの自動的実装であるAtlas3Dを紹介する。 提案手法は,新しい微分可能シミュレーションに基づく損失関数と,物理的にインスパイアされた正規化を組み合わせたものである。 我々は、Atlas3Dの有効性を広範囲な生成タスクを通して検証し、シミュレーションと実環境の両方で結果の3Dモデルを検証する。
  論文  参考訳（メタデータ） (2024-05-28T18:33:18Z)
• ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
  複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。 提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
  論文  参考訳（メタデータ） (2024-03-19T03:39:43Z)
• L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects [53.4874127399702]
  本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。 我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。 提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
  論文  参考訳（メタデータ） (2024-02-14T09:51:05Z)
• Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D priors [16.93758384693786]
  双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。 我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
  論文  参考訳（メタデータ） (2023-12-07T10:00:04Z)
• Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity [3.359622001455893]
  学習に基づく3Dオブジェクト再構成により、3Dオブジェクトモデルの単一または少数ショット推定が可能となる。 既存の3D再構成技術は、通常、シャムファー距離またはボクセルIOUによって測定される視覚的再構成忠実度を最適化する。 本稿では,オブジェクト形状よりも先に安定性を導入するアモーダル3D再構成システムARMと,接続前の接続,マルチチャネル入力表現を提案する。
  論文  参考訳（メタデータ） (2020-09-28T08:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。