論文の概要: Learning 3D Editing without Paired Supervision via Generative Prior Distillation
- arxiv url: http://arxiv.org/abs/2609.04942v1
- Date: Fri, 04 Sep 2026 09:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.995992
- Title: Learning 3D Editing without Paired Supervision via Generative Prior Distillation
- Title(参考訳): 生成予備蒸留によるペア化スーパービジョンを伴わない3次元編集の学習
- Abstract要約: 本稿では, 生成前蒸留法を用いて, ペアの3次元監督を伴わずにフィードフォワード3次元編集を学習する新しいフレームワークを提案する。
提案手法は命令忠実度とクロスビュー整合性を向上し,最先端のベースラインを著しく上回っている。
- 参考スコア(独自算出の注目度): 19.324368309084303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction-guided 3D editing is essential for interactive content creation, yet it faces a significant bottleneck: the severe scarcity of high-quality paired training data. Existing approaches attempt to bypass this by either relying on slow test-time optimization or training on pseudo-pairs constructed via complex pipelines, which often introduce structural drift and geometric artifacts. In this paper, we propose a novel framework that learns feed-forward 3D editing without paired 3D supervision via Generative Prior Distillation. Instead of relying on ground-truth 3D pairs, our core idea is to distill visual, semantic, and geometric knowledge from powerful foundation models directly into a 3D editing model. Specifically, through a differentiable rendering pipeline, we supervise the 3D representation using two complementary signals: a 2D visual prior from an image editing model at the main editing view, and a semantic prior from a Vision-Language Model at novel views to ensure strict instruction following and source identity preservation. Crucially, to address the geometric collapse and multi-view inconsistencies inherent in 2D projection supervision, we introduce a 3D-aware Distribution Matching regularization. Acting as a geometric prior, this term operates in the 3D latent space, constraining the edited output to remain within the manifold of realistic 3D assets defined by a pretrained image to 3D teacher model. Extensive experiments demonstrate that our method achieves superior instruction fidelity and cross-view consistency, significantly outperforming state-of-the-art baselines. Our project is available at: https://github.com/thiamine128/PriorEdit3D.
- Abstract(参考訳): インストラクション誘導による3D編集はインタラクティブなコンテンツ作成には不可欠だが、高品質なペアリングトレーニングデータの不足という大きなボトルネックに直面している。
既存のアプローチでは、テスト時間の遅い最適化や、複雑なパイプラインを通じて構築された擬似ペアのトレーニングに頼るか、構造的なドリフトや幾何学的なアーティファクトを導入することで、これを回避しようとする。
本稿では,ジェネレーティブ・プライオリティ・蒸留(Generative Prior Distillation)を用いて,2つのペアによる3D管理を必要とせずにフィードフォワード3D編集を学習する新しいフレームワークを提案する。
地上の3Dペアに頼るのではなく、強力な基礎モデルから視覚的、意味的、幾何学的な知識を直接3D編集モデルに抽出する、というのが私たちの考えです。
具体的には、2つの補完的な信号を用いて3D表現を監督する: 主編集ビューにおける画像編集モデルからの2D視覚前と、新しいビューにおける視覚言語モデルからのセマンティック前とを用いて、厳密な指示追従とソースアイデンティティの保存を保証する。
重要なことは、2次元投影監視に固有の幾何学的崩壊と多視点不整合に対処するために、我々は3D対応分布マッチング正規化を導入する。
幾何学的先行として、この用語は3D潜在空間で機能し、事前訓練された画像によって定義されたリアルな3Dアセットの多様体内にあるように、編集された出力を3D教師モデルに制約する。
大規模な実験により,提案手法は優れた命令忠実度とクロスビュー整合性を実現し,最先端のベースラインを著しく上回る結果を得た。
私たちのプロジェクトは、https://github.com/thiamine128/PriorEdit3D.comで利用可能です。
関連論文リスト
- Omni-3DEdit: Generalized Versatile 3D Editing in One-Pass [0.0]
我々は,様々な3D編集タスクを暗黙的に一般化する学習ベースモデルであるOmni-3DEditを紹介する。
学習ベースモデルとして、我々のモデルはオンライン最適化に時間を要することなく、様々な3D編集タスクを1回のフォワードパスで完了させることができる。
論文 参考訳(メタデータ) (2026-03-18T15:32:41Z) - Geometry-Guided Reinforcement Learning for Multi-view Consistent 3D Scene Editing [106.07976338405793]
3次元編集における2次元拡散モデルの先行的活用は、有望なパラダイムとして現れている。
我々は3次元基礎モデルであるVGGTから得られた新たな報酬を用いて、強化学習によって駆動されるシングルパスフレームワークであるtextbfRL3DEditを提案する。
実験により、RL3DEditは安定したマルチビューの一貫性を実現し、高い効率で品質を編集する最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2026-03-03T16:31:10Z) - ShapeUP: Scalable Image-Conditioned 3D Editing [44.63222737714384]
ShapeUPはスケーラブルでイメージコンディショニングされた3D編集フレームワークである。
ネイティブな3D表現の中で、教師付きラテントからラテントへの翻訳として編集を定式化する。
評価の結果,ShapeUPはアイデンティティの保存と編集の両面で,現在のトレーニングやトレーニング不要のベースラインを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-02-05T13:59:16Z) - PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing [51.56943889042673]
PercHeadは、シングルイメージの3Dヘッド再構成とセマンティック3D編集のための方法である。
単一の入力画像からビュー一貫性を持つ3Dヘッドを再構成するための統一ベースモデルを開発する。
軽量でインタラクティブなGUIを通して、直感的で強力な3D編集機能を強調します。
論文 参考訳(メタデータ) (2025-11-04T17:59:15Z) - 3D-LATTE: Latent Space 3D Editing from Textual Instructions [64.77718887666312]
本研究では,ネイティブな3次元拡散モデルの潜在空間内で動作する学習自由な編集手法を提案する。
生成元からの3Dアテンションマップとソースオブジェクトをブレンドすることで、編集合成をガイドする。
論文 参考訳(メタデータ) (2025-08-29T22:51:59Z) - Geometry and Perception Guided Gaussians for Multiview-consistent 3D Generation from a Single Image [10.648593818811976]
既存のアプローチはしばしば、微調整された事前訓練された2D拡散モデルや、高速ネットワーク推論を通じて直接3D情報を生成することに依存している。
本稿では,新たなモデルトレーニングを必要とせず,幾何学と知覚情報をシームレスに統合する新しい手法を提案する。
実験結果から,新しい視点合成法や3次元再構成法よりも優れ,頑健で一貫した3次元オブジェクト生成を実証した。
論文 参考訳(メタデータ) (2025-06-26T11:22:06Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。