論文の概要: RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting

• arxiv url: http://arxiv.org/abs/2404.10765v1
• Date: Tue, 16 Apr 2024 17:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 15:45:38.699664
• Title: RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting
• Title（参考訳）: RefFusion:3次元シーン塗装のための参照適応拡散モデル
• Authors: Ashkan Mirzaei, Riccardo De Lutio, Seung Wook Kim, David Acuna, Jonathan Kelly, Sanja Fidler, Igor Gilitschenski, Zan Gojcic,
• Abstract要約: RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
• 参考スコア（独自算出の注目度）: 63.567363455092234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural reconstruction approaches are rapidly emerging as the preferred representation for 3D scenes, but their limited editability is still posing a challenge. In this work, we propose an approach for 3D scene inpainting -- the task of coherently replacing parts of the reconstructed scene with desired content. Scene inpainting is an inherently ill-posed task as there exist many solutions that plausibly replace the missing content. A good inpainting method should therefore not only enable high-quality synthesis but also a high degree of control. Based on this observation, we focus on enabling explicit control over the inpainted content and leverage a reference image as an efficient means to achieve this goal. Specifically, we introduce RefFusion, a novel 3D inpainting method based on a multi-scale personalization of an image inpainting diffusion model to the given reference view. The personalization effectively adapts the prior distribution to the target scene, resulting in a lower variance of score distillation objective and hence significantly sharper details. Our framework achieves state-of-the-art results for object removal while maintaining high controllability. We further demonstrate the generality of our formulation on other downstream tasks such as object insertion, scene outpainting, and sparse view reconstruction.
• Abstract（参考訳）: ニューラルリコンストラクションアプローチは、3Dシーンに好まれる表現として急速に普及しているが、編集性に制限が課せられている。 本研究では,再構成されたシーンの一部を所望のコンテンツに一元的に置き換える作業である3Dシーンインペイントのアプローチを提案する。 シーンのインペイントは本質的に不適切な課題であり、不足したコンテンツを確実に置き換えるソリューションが多数存在する。 したがって、優れた塗布法は高品質な合成を可能にするだけでなく、高度な制御を可能にする必要がある。 本研究は,本研究の目的を達成するための効果的な手法として,塗布されたコンテンツに対する明示的な制御と参照画像を活用することに焦点を当てた。 具体的には,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく新しい3Dインペイント手法であるRefFusionを紹介する。 パーソナライゼーションは、先行分布を目標シーンに効果的に適応させ、その結果、スコア蒸留目標の分散が小さくなり、よりシャープな詳細が得られる。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。 さらに、オブジェクト挿入、シーンの露光、スパースビューの再構築など、他の下流タスクに対する定式化の一般化を実証する。

関連論文リスト

• Improving Text-guided Object Inpainting with Semantic Pre-inpainting [95.17396565347936]
  我々は,典型的な単一ステージオブジェクトを2つのカスケードプロセス – セマンティックプリペイントと高磁場オブジェクト生成 – に分解する。 これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,新しいCAscaded Transformer-Diffusionフレームワークを実現する。
  論文  参考訳（メタデータ） (2024-09-12T17:55:37Z)
• Localized Gaussian Splatting Editing with Contextual Awareness [10.46087834880747]
  本稿では,3Dガウススプラッティング(3DGS)表現のための照明対応3Dシーン編集パイプラインを提案する。 最先端条件付き2次元拡散モデルによる塗装は、照明の背景と一致している。 提案手法は,光輸送を明示的にモデル化することなく,局所的な照明の整合性を効果的に実現している。
  論文  参考訳（メタデータ） (2024-07-31T18:00:45Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Salient Object-Aware Background Generation using Text-Guided Diffusion Models [4.747826159446815]
  本稿では, 安定拡散と制御ネットアーキテクチャを用いて, 健全なオブジェクト出力処理にインペイント拡散モデルを適用するモデルを提案する。 提案手法は,複数のデータセットにまたがる標準的な視覚的メトリクスの劣化を伴わずに,オブジェクトの展開を平均3.6倍に削減する。
  論文  参考訳（メタデータ） (2024-04-15T22:13:35Z)
• PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
  本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。 提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。 我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
  論文  参考訳（メタデータ） (2022-12-21T00:20:01Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• Perceptual Artifacts Localization for Inpainting [60.5659086595901]
  そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。 データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。 また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2022-08-05T18:50:51Z)
• Holistic 3D Scene Understanding from a Single Image with Implicit Representation [112.40630836979273]
  単一の画像から全体的3Dシーン理解のための新しいパイプラインを提示する。 画像に基づく局所構造化暗黙ネットワークを提案し,物体形状推定を改善する。 また,新たな暗黙的なシーングラフニューラルネットワークを用いて3dオブジェクトのポーズとシーンレイアウトを洗練する。
  論文  参考訳（メタデータ） (2021-03-11T02:52:46Z)
• Semantic-Guided Inpainting Network for Complex Urban Scenes Manipulation [19.657440527538547]
  本研究では,ユーザが指定した画像の一部を取り除き,複雑な都市景観を再現する新しいディープラーニングモデルを提案する。 画像のインペイントに関する最近の研究に触発されて,提案手法はセマンティックセグメンテーションを利用して画像の内容と構造をモデル化する。 信頼性の高い結果を生成するために,セマンティックセグメンテーションと生成タスクを組み合わせた新しいデコーダブロックを設計する。
  論文  参考訳（メタデータ） (2020-10-19T09:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。