論文の概要: Diffusion Handles: Enabling 3D Edits for Diffusion Models by Lifting Activations to 3D

• arxiv url: http://arxiv.org/abs/2312.02190v2
• Date: Wed, 6 Dec 2023 18:18:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:49:31.180438
• Title: Diffusion Handles: Enabling 3D Edits for Diffusion Models by Lifting Activations to 3D
• Title（参考訳）: 拡散ハンドレス:3Dへの活性化による拡散モデルのための3D編集法
• Authors: Karran Pandey, Paul Guerrero, Matheus Gadelha, Yannick Hold-Geoffroy, Karan Singh and Niloy Mitra
• Abstract要約: Diffusion Handlesは、拡散画像上の3Dオブジェクトの編集を可能にする新しいアプローチである。 既存の事前学習拡散モデルと2次元画像深度推定を用いて,これらの編集を行う。 編集された結果は、信頼性が高く、フォトリアルであり、オブジェクトの同一性を保っている。
• 参考スコア（独自算出の注目度）: 26.510569846867195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Handles is a novel approach to enabling 3D object edits on diffusion images. We accomplish these edits using existing pre-trained diffusion models, and 2D image depth estimation, without any fine-tuning or 3D object retrieval. The edited results remain plausible, photo-real, and preserve object identity. Diffusion Handles address a critically missing facet of generative image based creative design, and significantly advance the state-of-the-art in generative image editing. Our key insight is to lift diffusion activations for an object to 3D using a proxy depth, 3D-transform the depth and associated activations, and project them back to image space. The diffusion process applied to the manipulated activations with identity control, produces plausible edited images showing complex 3D occlusion and lighting effects. We evaluate Diffusion Handles: quantitatively, on a large synthetic data benchmark; and qualitatively by a user study, showing our output to be more plausible, and better than prior art at both, 3D editing and identity control. Project Webpage: https://diffusionhandles.github.io/
• Abstract（参考訳）: Diffusion Handlesは拡散画像の3Dオブジェクト編集を可能にする新しいアプローチである。 既存のトレーニング済み拡散モデルと2次元画像深度推定を用いて、微調整や3次元オブジェクトの検索を行わずにこれらの編集を行う。 編集された結果は、信頼性があり、フォトリアルであり、オブジェクトのアイデンティティを保持します。 拡散処理は、生成画像に基づく創造的デザインの致命的な欠如に対処し、生成画像編集の最先端を著しく前進させる。 我々の重要な洞察は、オブジェクトの拡散活性化をプロキシの深さを使って3Dに上げ、深度と関連するアクティベーションを3D変換し、それらをイメージ空間に投影することである。 操作されたアクティベーションにID制御で適用された拡散プロセスは、複雑な3D閉塞と照明効果を示す可視画像を生成する。 我々はDiffusion Handlesを定量的に、大規模な合成データベンチマークで評価し、ユーザスタディにより質的に評価し、我々の出力が3D編集とアイデンティティ制御の両方において、先行技術よりも高い妥当性を示す。 プロジェクトWebページ: https://diffusionhandles.github.io/

関連論文リスト

• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data [42.49031063635004]
  本研究では,現実的かつ多様な3次元ハンドオブジェクトインタラクションデータを生成するためのHOIDiffusionを提案する。 本モデルは,3次元手対象幾何学構造とテキスト記述を画像合成の入力として用いた条件拡散モデルである。 生成した3Dデータを6次元オブジェクトのポーズ推定学習に適用し,認識システムの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-18T17:48:31Z)
• Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models [83.97844535389073]
  3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。 共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。 多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
  論文  参考訳（メタデータ） (2023-12-13T23:27:17Z)
• Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion [18.67196713834323]
  本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。 我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。 提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
  論文  参考訳（メタデータ） (2023-12-06T19:30:04Z)
• HoloFusion: Towards Photo-realistic 3D Generative Modeling [77.03830223281787]
  拡散に基づく画像生成装置は、高品質で多様なサンプルを作成できるようになったが、その成功はまだ3D生成に完全に変換されていない。 提案するHoloFusionは,高忠実度,高可塑性,多種多様な3Dサンプルを作成するために,これらのアプローチを最大限に組み合わせた手法である。
  論文  参考訳（メタデータ） (2023-08-28T01:19:33Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models [71.25937799010407]
  テキスト誘導拡散モデルを用いて3次元連続生成を実現する。 本研究では3次元局所編集について検討し,2段階の解法を提案する。 モデルを拡張してワンショットのノベルビュー合成を行う。
  論文  参考訳（メタデータ） (2022-11-25T13:50:00Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。