論文の概要: Feature-Aligned Video Raindrop Removal with Temporal Constraints

• arxiv url: http://arxiv.org/abs/2205.14574v1
• Date: Sun, 29 May 2022 05:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-04 16:30:25.692603
• Title: Feature-Aligned Video Raindrop Removal with Temporal Constraints
• Title（参考訳）: 時間制約による映像雨滴除去
• Authors: Wending Yan, Lu Xu, Wenhan Yang and Robby T. Tan
• Abstract要約: 雨滴除去は、単一画像とビデオの両方において困難である。 熱帯雨林とは異なり、雨滴は複数のフレームで同じ地域を覆う傾向にある。 本手法では,2段階の降雨量除去手法を用いる。
• 参考スコア（独自算出の注目度）: 68.49161092870224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing adherent raindrop removal methods focus on the detection of the raindrop locations, and then use inpainting techniques or generative networks to recover the background behind raindrops. Yet, as adherent raindrops are diverse in sizes and appearances, the detection is challenging for both single image and video. Moreover, unlike rain streaks, adherent raindrops tend to cover the same area in several frames. Addressing these problems, our method employs a two-stage video-based raindrop removal method. The first stage is the single image module, which generates initial clean results. The second stage is the multiple frame module, which further refines the initial results using temporal constraints, namely, by utilizing multiple input frames in our process and applying temporal consistency between adjacent output frames. Our single image module employs a raindrop removal network to generate initial raindrop removal results, and create a mask representing the differences between the input and initial output. Once the masks and initial results for consecutive frames are obtained, our multiple-frame module aligns the frames in both the image and feature levels and then obtains the clean background. Our method initially employs optical flow to align the frames, and then utilizes deformable convolution layers further to achieve feature-level frame alignment. To remove small raindrops and recover correct backgrounds, a target frame is predicted from adjacent frames. A series of unsupervised losses are proposed so that our second stage, which is the video raindrop removal module, can self-learn from video data without ground truths. Experimental results on real videos demonstrate the state-of-art performance of our method both quantitatively and qualitatively.
• Abstract（参考訳）: 従来の雨滴除去法は雨滴の位置の検出に重点を置いており、塗装技術や生成ネットワークを使って雨滴の背景を復元している。 しかし、雨滴の大きさや外観が多様であるため、単一画像とビデオの両方において検出は困難である。 さらに、雨害とは異なり、雨滴は複数のフレームで同じ地域を覆う傾向にある。 これらの問題に対処するため,本手法では2段階の雨滴除去手法を用いる。 最初のステージは単一イメージモジュールで、初期クリーンな結果を生成する。 第2段階は多重フレームモジュールであり、プロセス中に複数の入力フレームを利用し、隣接する出力フレーム間の時間的一貫性を適用することにより、時間的制約を用いて初期結果をさらに洗練する。 我々の単一画像モジュールは、雨滴除去ネットワークを用いて、最初の雨滴除去結果を生成し、入力と初期出力の差を表すマスクを作成する。 マスクと連続フレームの初期結果が得られると、複数のフレームモジュールが画像レベルと特徴レベルの両方でフレームを整列し、クリーンな背景を得る。 本手法は最初, フレームのアライメントに光学的流れを用い, さらに変形可能な畳み込み層を用いて特徴レベルのフレームアライメントを実現する。 小さな雨滴を除去し、適切な背景を復元するために、隣接するフレームからターゲットフレームを予測する。 ビデオレインドロップ除去モジュールである第2ステージが,地上の真実を伴わずにビデオデータから自己学習できるように,教師なしの損失が提案されている。 実映像における実験結果から,本手法の定量的・質的性能が実証された。

関連論文リスト

• RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering [50.14860376758962]
  多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。 ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。 我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
  論文  参考訳（メタデータ） (2024-04-17T14:07:22Z)
• EGVD: Event-Guided Video Deraining [57.59935209162314]
  本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
  論文  参考訳（メタデータ） (2023-09-29T13:47:53Z)
• Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior [103.49307603952144]
  ほとんどの既存の脱雨アルゴリズムは単一の入力画像のみを使用し、クリーンな画像の復元を目指しています。 本稿では,ステレオ画像とセマンティック情報の両方を利用するPaired Rain Removal Network(PRRNet)を提案する。 単分子および新たに提案したステレオ降雨データセットの両方の実験により,提案手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-05-09T04:15:10Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask [14.265454188161819]
  低照度下で撮影した生映像を消音する学習型手法を提案する。 まず、畳み込みニューラルネットワーク(CNN)を用いて、隣接するフレームを現在のフレームに明示的にアライメントする。 次に、登録されたフレームを別のCNNを使って融合し、最終識別フレームを得る。
  論文  参考訳（メタデータ） (2021-03-04T06:57:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。