論文の概要: Memory-guided Image De-raining Using Time-Lapse Data

• arxiv url: http://arxiv.org/abs/2201.01883v1
• Date: Thu, 6 Jan 2022 01:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-07 20:50:55.519392
• Title: Memory-guided Image De-raining Using Time-Lapse Data
• Title（参考訳）: タイムラプスデータを用いたメモリ誘導画像のデレイニング
• Authors: Jaehoon Cho, Seungryong Kim, Kwanghoon Sohn
• Abstract要約: 降雨物に隠れた1枚の画像から、きれいで無雨な背景のシーンを復元する作業である、単一画像デライニングの課題に対処する。 本稿では,長期雨天情報をタイムラプスデータに記録する上で,メモリネットワークに基づく新しいネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 83.12497916664904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the problem of single image de-raining, that is, the task of recovering clean and rain-free background scenes from a single image obscured by a rainy artifact. Although recent advances adopt real-world time-lapse data to overcome the need for paired rain-clean images, they are limited to fully exploit the time-lapse data. The main cause is that, in terms of network architectures, they could not capture long-term rain streak information in the time-lapse data during training owing to the lack of memory components. To address this problem, we propose a novel network architecture based on a memory network that explicitly helps to capture long-term rain streak information in the time-lapse data. Our network comprises the encoder-decoder networks and a memory network. The features extracted from the encoder are read and updated in the memory network that contains several memory items to store rain streak-aware feature representations. With the read/update operation, the memory network retrieves relevant memory items in terms of the queries, enabling the memory items to represent the various rain streaks included in the time-lapse data. To boost the discriminative power of memory features, we also present a novel background selective whitening (BSW) loss for capturing only rain streak information in the memory network by erasing the background information. Experimental results on standard benchmarks demonstrate the effectiveness and superiority of our approach.
• Abstract（参考訳）: 本稿では, 降雨物に隠れた単一画像から, きれいで無雨の背景環境を復元する作業である, 単一画像デライニングの課題に対処する。 近年では,雨クリーン画像対の必要性を克服するために実世界のタイムラプスデータを採用しているが,タイムラプスデータを完全に活用することは制限されている。 主な原因は、ネットワークアーキテクチャの観点からは、メモリコンポーネントの欠如により、トレーニング中のタイムラプスデータに長期間の雨季情報を取り込むことができなかったことである。 この問題に対処するため,我々は,タイムラプスデータに長期間の雨量情報を取り込むのに役立つメモリネットワークに基づく新しいネットワークアーキテクチャを提案する。 本ネットワークはエンコーダ・デコーダネットワークとメモリネットワークからなる。 エンコーダから抽出された特徴は、レインストリーク認識特徴表現を格納する複数のメモリアイテムを含むメモリネットワークで読み取り更新される。 メモリネットワークは、読み取り/更新操作により、クエリの観点から関連するメモリアイテムを検索し、タイムラプスデータに含まれる様々なレインストリークをメモリアイテムが表現できるようにする。 また,記憶特徴の識別能力を高めるため,背景情報を消去することで,雨害情報のみを記憶ネットワークに記録する新たな背景選択白化(BSW)損失を提示する。 標準ベンチマーク実験の結果,提案手法の有効性と優位性を示した。

関連論文リスト

• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• TASeg: Temporal Aggregation Network for LiDAR Semantic Segmentation [80.13343299606146]
  そこで本稿では, 時系列LiDARアグリゲーション・蒸留(TLAD)アルゴリズムを提案する。 時間画像のフル活用を目的として,カメラFOVを大幅に拡張できるTIAFモジュールを設計した。 また,静的移動スイッチ拡張(SMSA)アルゴリズムを開発し,時間的情報を利用してオブジェクトの動作状態を自由に切り替える。
  論文  参考訳（メタデータ） (2024-07-13T03:00:16Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)
• From heavy rain removal to detail restoration: A faster and better network [26.60300982543502]
  そこで本研究では,DPENetと呼ばれる2段階進行性拡張ネットワークを導入し,効率的なデラリニングを実現する。 本手法は,雨害除去ネットワーク(R$2$Net)と,無雨画像のテクスチャ的詳細を復元する詳細再構成ネットワーク(DRNet)の2つの重要なモジュールから構成される。
  論文  参考訳（メタデータ） (2022-05-07T04:55:05Z)
• Semi-DRDNet Semi-supervised Detail-recovery Image Deraining Network via Unpaired Contrastive Learning [59.22620253308322]
  半教師付き詳細復元画像デラミニングネットワーク(セミDRDNet)を提案する。 半教師付き学習パラダイムとして、Semi-DRDNetは、強靭性と詳細な精度を犠牲にして、合成データと実世界の降雨データの両方を円滑に運用する。
  論文  参考訳（メタデータ） (2022-04-06T12:35:27Z)
• Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
  多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。 RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。 SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
  論文  参考訳（メタデータ） (2021-08-20T09:09:56Z)
• RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining [49.99207211126791]
  雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。 RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。 このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
  論文  参考訳（メタデータ） (2021-07-14T16:08:11Z)
• Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior [103.49307603952144]
  ほとんどの既存の脱雨アルゴリズムは単一の入力画像のみを使用し、クリーンな画像の復元を目指しています。 本稿では,ステレオ画像とセマンティック情報の両方を利用するPaired Rain Removal Network(PRRNet)を提案する。 単分子および新たに提案したステレオ降雨データセットの両方の実験により,提案手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-05-09T04:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。