論文の概要: Instant3dit: Multiview Inpainting for Fast Editing of 3D Objects

• arxiv url: http://arxiv.org/abs/2412.00518v1
• Date: Sat, 30 Nov 2024 15:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:49.677054
• Title: Instant3dit: Multiview Inpainting for Fast Editing of 3D Objects
• Title（参考訳）: Instant3dit: 3Dオブジェクトの高速編集のためのマルチビューインペインティング
• Authors: Amir Barda, Matheus Gadelha, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix,
• Abstract要約: 本稿では,メッシュ,NeRF,ガウスプレートなどの3次元形状を約3秒で編集する生成手法を提案する。 提案手法では, 時間から秒までの3次元生成編集を行ない, 従来よりも高品質な結果が得られる。
• 参考スコア（独自算出の注目度）: 34.021032306348324
• License:
• Abstract: We propose a generative technique to edit 3D shapes, represented as meshes, NeRFs, or Gaussian Splats, in approximately 3 seconds, without the need for running an SDS type of optimization. Our key insight is to cast 3D editing as a multiview image inpainting problem, as this representation is generic and can be mapped back to any 3D representation using the bank of available Large Reconstruction Models. We explore different fine-tuning strategies to obtain both multiview generation and inpainting capabilities within the same diffusion model. In particular, the design of the inpainting mask is an important factor of training an inpainting model, and we propose several masking strategies to mimic the types of edits a user would perform on a 3D shape. Our approach takes 3D generative editing from hours to seconds and produces higher-quality results compared to previous works.
• Abstract（参考訳）: メッシュ,NeRF,ガウスの3次元形状をSDS型の最適化を行うことなく,約3秒で編集する生成手法を提案する。 この表現は汎用的であり、利用可能な大規模再構成モデルのバンクを用いて任意の3D表現にマッピングできるため、我々は3D編集をマルチビュー画像のインパインティング問題として捉えている。 異なる微調整戦略を探索し、同一拡散モデル内でのマルチビュー生成とインペインティングの両方の能力を得る。 特に、塗装マスクの設計は、塗装モデルを訓練する上で重要な要素であり、ユーザが3次元の形状で行う編集のタイプを模倣するいくつかのマスキング戦略を提案する。 提案手法では, 時間から秒までの3次元生成編集を行ない, 従来よりも高品質な結果が得られる。

関連論文リスト

• Any-to-3D Generation via Hybrid Diffusion Supervision [67.54197818071464]
  XBindは、クロスモーダルな事前アライメント技術を用いた、任意の3D生成のための統一されたフレームワークである。 XBindは、任意のモダリティから3Dオブジェクトを生成するために、事前訓練された拡散モデルとマルチモーダル整列エンコーダを統合する。
  論文  参考訳（メタデータ） (2024-11-22T03:52:37Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion [39.03289977892935]
  RealmDreamerはテキスト記述から一般的な前方向きの3Dシーンを生成する技術である。 我々の技術はビデオやマルチビューのデータを必要とせず、様々なスタイルの高品質な3Dシーンを合成することができる。
  論文  参考訳（メタデータ） (2024-04-10T17:57:41Z)
• GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing [38.948892064761914]
  GaussCtrlは、3D Gaussian Splatting(3DGS)によって再構成された3Dシーンを編集するテキスト駆動方式である。 私たちの重要な貢献は、複数ビューの一貫性のある編集であり、1つの画像を反復的に編集する代わりに、すべての画像を一緒に編集できる。
  論文  参考訳（メタデータ） (2024-03-13T17:35:28Z)
• LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation [51.19871052619077]
  テキストプロンプトやシングルビュー画像から高解像度の3Dモデルを生成するための新しいフレームワークであるLarge Multi-View Gaussian Model (LGM)を紹介する。 我々は,5秒以内に3Dオブジェクトを生成する高速な速度を維持しながら,トレーニング解像度を512に向上し,高解像度な3Dコンテンツ生成を実現する。
  論文  参考訳（メタデータ） (2024-02-07T17:57:03Z)
• Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models [83.97844535389073]
  3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。 共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。 多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
  論文  参考訳（メタデータ） (2023-12-13T23:27:17Z)
• Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion [18.67196713834323]
  本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。 我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。 提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
  論文  参考訳（メタデータ） (2023-12-06T19:30:04Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)
• Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
  本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。 グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-07-24T19:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。