論文の概要: View-consistent Object Removal in Radiance Fields

• arxiv url: http://arxiv.org/abs/2408.02100v1
• Date: Sun, 4 Aug 2024 17:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 15:15:41.007540
• Title: View-consistent Object Removal in Radiance Fields
• Title（参考訳）: 放射場におけるビュー一貫性物体除去
• Authors: Yiren Lu, Jing Ma, Yu Yin,
• Abstract要約: レーダー場(RF)は3次元シーン表現にとって重要な技術である。 現在の方法はフレーム単位の2Dイメージの描画に依存しており、ビュー間の一貫性の維持に失敗することが多い。 単一参照画像のみの塗布を必要とすることで、一貫性を著しく向上する新しいRF編集パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 14.195400035176815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiance Fields (RFs) have emerged as a crucial technology for 3D scene representation, enabling the synthesis of novel views with remarkable realism. However, as RFs become more widely used, the need for effective editing techniques that maintain coherence across different perspectives becomes evident. Current methods primarily depend on per-frame 2D image inpainting, which often fails to maintain consistency across views, thus compromising the realism of edited RF scenes. In this work, we introduce a novel RF editing pipeline that significantly enhances consistency by requiring the inpainting of only a single reference image. This image is then projected across multiple views using a depth-based approach, effectively reducing the inconsistencies observed with per-frame inpainting. However, projections typically assume photometric consistency across views, which is often impractical in real-world settings. To accommodate realistic variations in lighting and viewpoint, our pipeline adjusts the appearance of the projected views by generating multiple directional variants of the inpainted image, thereby adapting to different photometric conditions. Additionally, we present an effective and robust multi-view object segmentation approach as a valuable byproduct of our pipeline. Extensive experiments demonstrate that our method significantly surpasses existing frameworks in maintaining content consistency across views and enhancing visual quality. More results are available at https://vulab-ai.github.io/View-consistent_Object_Removal_in_Radiance_Fields.
• Abstract（参考訳）: レージアンス・フィールド(RF)は3次元シーン表現の重要な技術として登場し、目覚ましいリアリズムを持つ新しいビューの合成を可能にしている。 しかし、RFがより広く使われるようになると、異なる視点におけるコヒーレンスを維持する効果的な編集技術の必要性が明らかになる。 現在の手法は主にフレームごとの2D画像の塗装に依存しており、多くの場合、ビュー間の一貫性の維持に失敗し、編集されたRFシーンのリアリズムを損なう。 本研究では,単一参照画像のみの塗布を必要とすることで,一貫性を著しく向上する新しいRF編集パイプラインを提案する。 この画像はディープベースアプローチを用いて複数のビューに投影され、フレーム単位の塗装で観測される矛盾を効果的に低減する。 しかしながら、プロジェクションは通常、ビュー間の光度一貫性を前提とします。 光と視界の現実的な変化に対応するため、パイプラインは、塗装された画像の複数の方向変化を発生させることで、投影されたビューの外観を調整し、異なる光度条件に適応する。 さらに、パイプラインの価値のある副産物として、効果的で堅牢な多視点オブジェクトセグメンテーション手法を提案する。 広範にわたる実験により,ビュー間のコンテントの整合性を維持し,視覚的品質を向上する上で,既存のフレームワークをはるかに上回る結果が得られた。 さらなる結果はhttps://vulab-ai.github.io/View-consistent_Object_Removal_in_Radiance_Fieldsで見ることができる。

関連論文リスト

• MAIR++: Improving Multi-view Attention Inverse Rendering with Implicit Lighting Representation [17.133440382384578]
  マルチビュー画像を用いてシーンを幾何学、SVBRDF、3次元空間的に変化する照明に分解するシーンレベルの逆レンダリングフレームワークを提案する。 MAIR(Multi-view Attention Inverse Rendering)と呼ばれる新しいフレームワークが最近導入され、シーンレベルの逆レンダリングの品質が向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:04:23Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
  本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。 編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。 拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
  論文  参考訳（メタデータ） (2024-02-22T18:50:18Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
  最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。 本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T13:06:48Z)
• Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
  我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。 本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
  論文  参考訳（メタデータ） (2023-11-20T15:03:56Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Light Field Neural Rendering [47.7586443731997]
  幾何再構成に基づく手法はスパースビューのみを必要とするが、非ランベルト効果を正確にモデル化することはできない。 強みを組み合わせたモデルを導入し、これらの2つの方向の制限を緩和する。 我々のモデルは、複数の前方向きデータセットと360degデータセットで最先端のモデルより優れています。
  論文  参考訳（メタデータ） (2021-12-17T18:58:05Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。