論文の概要: NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors

• arxiv url: http://arxiv.org/abs/2206.04901v1
• Date: Fri, 10 Jun 2022 06:54:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 14:59:00.133643
• Title: NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors
• Title（参考訳）: NeRF-In: RGB-Dプリミティブを用いた自由形NeRF塗装
• Authors: Hao-Kang Liu, I-Chao Shen, Bing-Yu Chen
• Abstract要約: 我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。 より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 14.911856302172996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though Neural Radiance Field (NeRF) demonstrates compelling novel view synthesis results, it is still unintuitive to edit a pre-trained NeRF because the neural network's parameters and the scene geometry/appearance are often not explicitly associated. In this paper, we introduce the first framework that enables users to remove unwanted objects or retouch undesired regions in a 3D scene represented by a pre-trained NeRF without any category-specific data and training. The user first draws a free-form mask to specify a region containing unwanted objects over a rendered view from the pre-trained NeRF. Our framework first transfers the user-provided mask to other rendered views and estimates guiding color and depth images within these transferred masked regions. Next, we formulate an optimization problem that jointly inpaints the image content in all masked regions across multiple views by updating the NeRF model's parameters. We demonstrate our framework on diverse scenes and show it obtained visual plausible and structurally consistent results across multiple views using shorter time and less user manual efforts.
• Abstract（参考訳）: NeRF(Neural Radiance Field)は、魅力的な新しいビュー合成結果を示しているが、ニューラルネットワークのパラメータとシーン幾何学/外観が明示的に関連付けられていないため、トレーニング済みのNeRFを編集するのは直感的ではない。 本稿では,学習済みのNeRFで表現された3次元シーンにおいて,カテゴリ固有のデータやトレーニングを使わずに不要なオブジェクトを除去したり,不要な領域に再タッチしたりできる,最初のフレームワークを提案する。 ユーザはまずフリーフォームマスクを描画して、予め訓練されたnerfからレンダリングされたビュー上の望ましくないオブジェクトを含む領域を特定する。 提案フレームワークはまず,ユーザが提供するマスクを他のレンダリングビューに転送し,移動されたマスク領域内の色と深度のイメージを推定する。 次に、NeRFモデルのパラメータを更新することにより、複数のビューにまたがるすべてのマスキング領域のイメージ内容に共同でペイントする最適化問題を定式化する。 多様なシーンのフレームワークを実演し、より短い時間と少ないユーザ手作業を用いて、複数のビューで視覚的可視かつ構造的に一貫性のある結果が得られることを示す。

関連論文リスト

• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models [59.96172701917538]
  現在のニューラル・ラジアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューを生成することができる。 本稿ではInpaint4DNeRFを提案する。
  論文  参考訳（メタデータ） (2023-12-30T11:26:55Z)
• InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields [26.20280877227749]
  InNeRF360は、360度ニューラルレイディアンスフィールド(NeRF)からテキスト指定対象を除去する自動システムである。 マルチビューテキスト符号化セグメンテーションの整合性を強制するために,深度空間のワープを適用した。 我々は、視覚的可視性を確保するために、知覚的先行と3次元拡散に基づく幾何学的先行を用いて塗装されたNeRFモデルを洗練する。
  論文  参考訳（メタデータ） (2023-05-24T12:22:23Z)
• NeRFuser: Large-Scale Scene Representation by NeRF Fusion [35.749208740102546]
  Neural Radiance Fields (NeRF)のような暗黙的な視覚表現の実用的な利点は、そのメモリ効率である。 既製のNeRFへのアクセスのみを前提としたNeRF登録とブレンディングのための新しいアーキテクチャであるNeRFuserを提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:05Z)
• Reference-guided Controllable Inpainting of Neural Radiance Fields [26.296017756560467]
  我々は、表示に一貫性があり、制御可能な領域に焦点をあてる。 単眼深度推定器を用いて, 塗装された視界を正確な3D位置へバックプロジェクターする。 非参照非排除領域に対しては,形状と外観の両方をガイドする画像インペインターに基づく手法を考案する。
  論文  参考訳（メタデータ） (2023-04-19T14:11:21Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
  本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2022-04-02T19:32:42Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。