論文の概要: ObjFiller-3D: Consistent Multi-view 3D Inpainting via Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2508.18271v1
- Date: Mon, 25 Aug 2025 17:59:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.907399
- Title: ObjFiller-3D: Consistent Multi-view 3D Inpainting via Video Diffusion Models
- Title(参考訳): ObjFiller-3D:ビデオ拡散モデルによる連続多視点3Dインペインティング
- Authors: Haitang Feng, Jie Liu, Jie Tang, Gangshan Wu, Beiqi Chen, Jianhuang Lai, Guangcong Wang,
- Abstract要約: 3Dインパインティングは、しばしばマルチビュー2Dイメージのインパインティングに依存し、固有の不整合は、ぼやけたテクスチャ、空間的な不連続、視覚的アーティファクトを逸脱させる。
高品質で一貫した3Dオブジェクトを補完・編集するための新しい手法であるFiller-3Dを提案する。
映像と3Dの表現ギャップを解析し,映像のインパインティングモデルによる3Dシーンのインパインティングの適応を提案する。
- 参考スコア(独自算出の注目度): 76.80262068405243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D inpainting often relies on multi-view 2D image inpainting, where the inherent inconsistencies across different inpainted views can result in blurred textures, spatial discontinuities, and distracting visual artifacts. These inconsistencies pose significant challenges when striving for accurate and realistic 3D object completion, particularly in applications that demand high fidelity and structural coherence. To overcome these limitations, we propose ObjFiller-3D, a novel method designed for the completion and editing of high-quality and consistent 3D objects. Instead of employing a conventional 2D image inpainting model, our approach leverages a curated selection of state-of-the-art video editing model to fill in the masked regions of 3D objects. We analyze the representation gap between 3D and videos, and propose an adaptation of a video inpainting model for 3D scene inpainting. In addition, we introduce a reference-based 3D inpainting method to further enhance the quality of reconstruction. Experiments across diverse datasets show that compared to previous methods, ObjFiller-3D produces more faithful and fine-grained reconstructions (PSNR of 26.6 vs. NeRFiller (15.9) and LPIPS of 0.19 vs. Instant3dit (0.25)). Moreover, it demonstrates strong potential for practical deployment in real-world 3D editing applications. Project page: https://objfiller3d.github.io/ Code: https://github.com/objfiller3d/ObjFiller-3D .
- Abstract(参考訳): 3Dインパインティングは、多視点2D画像インパインティングに依存しており、異なるインパインされたビューにまたがる固有の不整合は、ぼやけたテクスチャ、空間的不連続、視覚的アーティファクトを逸脱させる可能性がある。
これらの矛盾は、特に高忠実さと構造的コヒーレンスを必要とするアプリケーションにおいて、正確で現実的な3Dオブジェクトの完成に向けて努力するときに重大な課題を生じさせる。
このような制約を克服するために,高品質で一貫した3Dオブジェクトの完成と編集を目的とした新しい手法であるObjFiller-3Dを提案する。
本手法では,従来の2次元画像インパインティングモデルではなく,最先端映像編集モデルのキュレートされた選択を利用して3次元オブジェクトのマスキング領域を埋める。
映像と3Dの表現ギャップを解析し,映像のインパインティングモデルによる3Dシーンのインパインティングの適応を提案する。
さらに,レファレンスベースの3Dインペインティング手法を導入し,再現性の向上を図る。
様々なデータセットにわたる実験により、ObjFiller-3Dは以前の手法と比較して、より忠実できめ細かな再構成(PSNR 26.6 vs. NeRFiller (15.9)、LPIPS 0.19 vs. Instant3dit (0.25))が得られた。
さらに、現実世界の3D編集アプリケーションに実用的展開の可能性を強く示している。
プロジェクトページ: https://objfiller3d.github.io/コード: https://github.com/objfiller3d/ObjFiller-3D
関連論文リスト
- DiGA3D: Coarse-to-Fine Diffusional Propagation of Geometry and Appearance for Versatile 3D Inpainting [10.515239541326737]
単一の参照インペインティングメソッドは、参照ビューから離れたビューを扱う場合、堅牢性に欠ける。
出現不整合は、独立に2次元拡散先行のマルチビュー画像に着色するときに生じる。
DiGA3Dは拡散モデルを用いて、一貫した外観と幾何学を粗い方法で伝播する。
論文 参考訳(メタデータ) (2025-07-01T04:57:08Z) - Constructing a 3D Town from a Single Image [23.231661811526955]
3DTownは、単一のトップダウンビューからリアルで一貫性のある3Dシーンを合成するために設計された、トレーニング不要のフレームワークである。
入力画像を重なり合う領域に分解し、事前訓練された3Dオブジェクトジェネレータを用いてそれぞれを生成する。
以上の結果から,1枚の画像から高品質な3Dタウンジェネレーションが実現可能であることを示す。
論文 参考訳(メタデータ) (2025-05-21T17:10:47Z) - Visibility-Uncertainty-guided 3D Gaussian Inpainting via Scene Conceptional Learning [63.94919846010485]
3DGI)は、複数の入力ビューから補完的な視覚的・意味的手がかりを効果的に活用することが困難である。
本稿では,異なる入力ビュー間での3Dポイントの視認性不確実性を計測し,それらを用いて3DGIを誘導する手法を提案する。
ViSibility-uncerTainty-guided 3DGIとシーンコンセプトAl学習を統合し,新しい3DGIフレームワークであるVISTAを構築した。
論文 参考訳(メタデータ) (2025-04-23T06:21:11Z) - Art3D: Training-Free 3D Generation from Flat-Colored Illustration [22.358983277403233]
Art3Dは、フラットカラーの2Dデザインを3Dに持ち上げる訓練不要の方法だ。
3次元感のないフラットカラー画像に対して,既存の画像から3次元モデルへの一般化性能をベンチマークした。
論文 参考訳(メタデータ) (2025-04-14T17:53:10Z) - NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。
関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
論文 参考訳(メタデータ) (2023-12-07T18:59:41Z) - Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion [18.67196713834323]
本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。
我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。
提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
論文 参考訳(メタデータ) (2023-12-06T19:30:04Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳(メタデータ) (2022-11-17T20:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。