論文の概要: DerainNeRF: 3D Scene Estimation with Adhesive Waterdrop Removal

• arxiv url: http://arxiv.org/abs/2403.20013v1
• Date: Fri, 29 Mar 2024 06:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:24:57.511016
• Title: DerainNeRF: 3D Scene Estimation with Adhesive Waterdrop Removal
• Title（参考訳）: DerainNeRF:接着性水滴除去による3次元シーン推定
• Authors: Yunhao Li, Jing Wu, Lingzhe Zhao, Peidong Liu,
• Abstract要約: 水滴により劣化した多視点画像から透明な3Dシーンを暗黙的に再構築する手法を提案する。 本手法は,水滴の位置を予測するためにアテンションネットワークを利用して,暗黙的に3Dシーンを復元するニューラルレージアンスフィールドを訓練する。 NeRFの強いシーン表現機能を活用することで,水滴を除去した高品質なノベルビュー画像をレンダリングすることができる。
• 参考スコア（独自算出の注目度）: 12.099886168325012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When capturing images through the glass during rainy or snowy weather conditions, the resulting images often contain waterdrops adhered on the glass surface, and these waterdrops significantly degrade the image quality and performance of many computer vision algorithms. To tackle these limitations, we propose a method to reconstruct the clear 3D scene implicitly from multi-view images degraded by waterdrops. Our method exploits an attention network to predict the location of waterdrops and then train a Neural Radiance Fields to recover the 3D scene implicitly. By leveraging the strong scene representation capabilities of NeRF, our method can render high-quality novel-view images with waterdrops removed. Extensive experimental results on both synthetic and real datasets show that our method is able to generate clear 3D scenes and outperforms existing state-of-the-art (SOTA) image adhesive waterdrop removal methods.
• Abstract（参考訳）: 雨や雪の天候下でガラスを通して画像を撮影する場合、結果として得られる画像は、しばしばガラス表面に付着した水滴を含み、これらの水滴は多くのコンピュータビジョンアルゴリズムの画質と性能を著しく低下させる。 これらの制約に対処するため,水滴により劣化した多視点画像から透明な3Dシーンを暗黙的に再構成する手法を提案する。 本手法は,水滴の位置を予測するためにアテンションネットワークを利用して,暗黙的に3Dシーンを復元するニューラルレージアンスフィールドを訓練する。 NeRFの強いシーン表現機能を活用することで,水滴を除去した高品質なノベルビュー画像をレンダリングすることができる。 合成データと実データの両方の大規模な実験結果から,本手法は鮮明な3次元シーンを生成でき,既存のSOTA画像の付着水滴除去法より優れることが示された。

関連論文リスト

• SeaSplat: Representing Underwater Scenes with 3D Gaussian Splatting and a Physically Grounded Image Formation Model [11.57677379828992]
  本研究では,最近の3次元放射場の発展を生かした水中シーンのリアルタイムレンダリングを可能にするSeaSplatを紹介する。 SeaSplatを、アメリカ領ヴァージン諸島の水中車両が収集したSeaThru-NeRFデータセットの現実世界のシーンに適用する。 水中画像形成はシーン構造を学習し, 深度マップを改良し, 3次元ガウス表現の活用による計算精度の向上を図った。
  論文  参考訳（メタデータ） (2024-09-25T20:45:19Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• WaterHE-NeRF: Water-ray Tracing Neural Radiance Fields for Underwater Scene Reconstruction [6.036702530679703]
  本研究では,3次元空間における色,密度,照度減衰を正確にエンコードするRetinex理論による新しい水線トレーシング場を開発する。 WaterHE-NeRFは、その発光減衰機構を通じて、劣化画像と鮮明な多視点画像の両方を生成する。
  論文  参考訳（メタデータ） (2023-12-12T02:55:14Z)
• Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes [53.16726447796844]
  運転中のフロントガラスの水滴は、深刻な視覚障害を引き起こし、自動車事故を引き起こす可能性がある。 本研究では、複数のフレームから表現を融合させて、水滴に隠された視覚情報を復元するアテンションベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-12T13:47:26Z)
• Water Simulation and Rendering from a Still Photograph [20.631819299595527]
  本研究では,静止画1枚からリアルな水のアニメーションをシミュレートし,レンダリングする手法を提案する。 我々のアプローチは、様々な自然のシーンに対して、ユーザの介入なしに現実的な結果を生み出す。
  論文  参考訳（メタデータ） (2022-10-05T20:47:44Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。