論文の概要: Reference-guided Controllable Inpainting of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2304.09677v2
• Date: Thu, 20 Apr 2023 15:19:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 15:43:41.225678
• Title: Reference-guided Controllable Inpainting of Neural Radiance Fields
• Title（参考訳）: 参照誘導制御可能なニューラルラジアンスフィールドの塗装
• Authors: Ashkan Mirzaei, Tristan Aumentado-Armstrong, Marcus A. Brubaker, Jonathan Kelly, Alex Levinshtein, Konstantinos G. Derpanis, Igor Gilitschenski
• Abstract要約: 我々は、表示に一貫性があり、制御可能な領域に焦点をあてる。 単眼深度推定器を用いて, 塗装された視界を正確な3D位置へバックプロジェクターする。 非参照非排除領域に対しては,形状と外観の両方をガイドする画像インペインターに基づく手法を考案する。
• 参考スコア（独自算出の注目度）: 26.296017756560467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The popularity of Neural Radiance Fields (NeRFs) for view synthesis has led to a desire for NeRF editing tools. Here, we focus on inpainting regions in a view-consistent and controllable manner. In addition to the typical NeRF inputs and masks delineating the unwanted region in each view, we require only a single inpainted view of the scene, i.e., a reference view. We use monocular depth estimators to back-project the inpainted view to the correct 3D positions. Then, via a novel rendering technique, a bilateral solver can construct view-dependent effects in non-reference views, making the inpainted region appear consistent from any view. For non-reference disoccluded regions, which cannot be supervised by the single reference view, we devise a method based on image inpainters to guide both the geometry and appearance. Our approach shows superior performance to NeRF inpainting baselines, with the additional advantage that a user can control the generated scene via a single inpainted image. Project page: https://ashmrz.github.io/reference-guided-3d
• Abstract（参考訳）: ビュー合成におけるNeRF(Neural Radiance Fields)の人気は、NeRF編集ツールへの欲求につながっている。 ここでは、表示に一貫性があり、制御可能な領域に焦点をあてる。 各ビューにおいて望ましくない領域を規定する典型的なNeRF入力とマスクに加えて、シーンの1つの塗装されたビュー、すなわち参照ビューしか必要としない。 単眼深度推定器を用いて, 塗装された視界を3D位置へバックプロジェクションする。 そして、新規なレンダリング技術により、二者解決者は、非参照ビューにおけるビュー依存効果を構築でき、塗装された領域が任意のビューから一貫して見えるようにする。 単一の参照ビューで教師できない非参照非排除領域に対しては,画像のインペインターに基づく手法を考案し,形状と外観の両方をガイドする。 提案手法は,1つのインペイント画像で生成したシーンをユーザが制御できるというアドバンテージにより,nerfインペイントベースラインよりも優れた性能を示す。 プロジェクトページ: https://ashmrz.github.io/reference-guided-3d

関連論文リスト

• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting [63.567363455092234]
  RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:50:02Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields [26.20280877227749]
  InNeRF360は、360度ニューラルレイディアンスフィールド(NeRF)からテキスト指定対象を除去する自動システムである。 マルチビューテキスト符号化セグメンテーションの整合性を強制するために,深度空間のワープを適用した。 我々は、視覚的可視性を確保するために、知覚的先行と3次元拡散に基づく幾何学的先行を用いて塗装されたNeRFモデルを洗練する。
  論文  参考訳（メタデータ） (2023-05-24T12:22:23Z)
• PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
  本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。 提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。 我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
  論文  参考訳（メタデータ） (2022-12-21T00:20:01Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint [22.42916940712357]
  本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。 本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。 新規ビュー合成やリライトといったアプリケーションをサポートする。
  論文  参考訳（メタデータ） (2022-10-17T11:01:52Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors [14.911856302172996]
  我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。 より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-10T06:54:22Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。