論文の概要: TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining
and Object Detection in Rain
- arxiv url: http://arxiv.org/abs/2311.00660v1
- Date: Wed, 1 Nov 2023 17:08:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 12:53:44.051243
- Title: TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining
and Object Detection in Rain
- Title（参考訳）: TPSeNCE: 雨中の脱落・物検出のための人工無実雨発生を目指して
- Authors: Shen Zheng, Changjie Lu, Srinivasa G. Narasimhan
- Abstract要約: 本稿では,現実的な降雨画像を生成するための画像間翻訳フレームワークを提案する。
まず, 三角確率類似性制約を導入し, 判別器多様体の鮮明で雨の多い画像に向けて生成した画像を誘導する。
実験では、最小限のアーチファクトと歪みで現実的な雨の発生を実証し、雨中の画像の劣化と物体の検出に有効である。
- 参考スコア（独自算出の注目度）: 23.050711662981655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rain generation algorithms have the potential to improve the generalization
of deraining methods and scene understanding in rainy conditions. However, in
practice, they produce artifacts and distortions and struggle to control the
amount of rain generated due to a lack of proper constraints. In this paper, we
propose an unpaired image-to-image translation framework for generating
realistic rainy images. We first introduce a Triangular Probability Similarity
(TPS) constraint to guide the generated images toward clear and rainy images in
the discriminator manifold, thereby minimizing artifacts and distortions during
rain generation. Unlike conventional contrastive learning approaches, which
indiscriminately push negative samples away from the anchors, we propose a
Semantic Noise Contrastive Estimation (SeNCE) strategy and reassess the pushing
force of negative samples based on the semantic similarity between the clear
and the rainy images and the feature similarity between the anchor and the
negative samples. Experiments demonstrate realistic rain generation with
minimal artifacts and distortions, which benefits image deraining and object
detection in rain. Furthermore, the method can be used to generate realistic
snowy and night images, underscoring its potential for broader applicability.
Code is available at https://github.com/ShenZheng2000/TPSeNCE.
- Abstract（参考訳）: 降雨生成アルゴリズムは,降雨条件下でのデレーニング手法の一般化とシーン理解を改善する可能性がある。
しかし実際には、アーチファクトや歪みを生み出し、適切な制約の欠如によって発生する雨量をコントロールするのに苦労する。
本稿では,現実的な降雨画像を生成するための画像間翻訳フレームワークを提案する。
まずTPS(Triangular Probability similarity)制約を導入し, 識別器多様体内の鮮明で雨の多い画像へ誘導し, 降雨時のアーチファクトや歪みを最小限に抑える。
従来, 負のサンプルをアンカーから無差別に押下する対照的な学習手法とは違って, セマンティックノイズコントラスト推定(SeNCE)戦略を提案し, クリア画像とレイン画像のセマンティック類似性とアンカーと負のサンプルの特徴類似性に基づいて, 負のサンプルのプッシュ力を再評価する。
実験は、雨のイメージレーディングと物体検出の恩恵を受ける、最小限のアーティファクトと歪みによる現実的な雨の発生を実証する。
さらに、この手法は現実的な雪と夜の画像を生成できるため、より広い適用可能性の可能性を強調できる。
コードはhttps://github.com/ShenZheng2000/TPSeNCEで入手できる。
関連論文リスト
- TRG-Net: An Interpretable and Controllable Rain Generator [61.2760968459789]
本研究は,降雨の基盤となる物理的発生機構を十分に考慮した,新しい深層学習型降雨発生器を提案する。
その意義は、発電機が予想される雨をシミュレートするために雨の本質的な要素を精巧に設計するだけでなく、複雑で多様な雨のイメージに微妙に適応することにある。
提案した雨発生器が発生した雨は, 高品質であるだけでなく, 排水作業や下流作業にも有効であることを示す。
論文 参考訳（メタデータ） (2024-03-15T03:27:39Z) - Contrastive Learning Based Recursive Dynamic Multi-Scale Network for
Image Deraining [47.764883957379745]
雨のストリークは撮影画像の可視性を著しく低下させる。
既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。
本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
論文 参考訳（メタデータ） (2023-05-29T13:51:41Z) - Single Image Deraining via Feature-based Deep Convolutional Neural
Network [13.39233717329633]
データ駆動型アプローチとモデルベースアプローチを組み合わせた,単一画像デラミニングアルゴリズムを提案する。
実験の結果,提案アルゴリズムは質的,定量的両面で最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-05-03T13:12:51Z) - Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-06-22T00:10:06Z) - Unsupervised Deraining: Where Contrastive Learning Meets Self-similarity [0.0]
教師なし画像デライニングのための新しい非局所コントラスト学習法(NLCL)を提案する。
提案手法は, 実際のデラリニングにおける最先端性能を得る。
論文 参考訳（メタデータ） (2022-03-22T07:37:08Z) - Deep Single Image Deraining using An Asymetric Cycle Generative and
Adversarial Framework [16.59494337699748]
単体画像デライニングのための新しいACGF(Asymetric Cycle Generative and Adrial framework)を提案する。
ACGFは合成雨像と実際の雨像の両方を訓練し、同時に雨の流れと霧の特徴を捉えている。
基準降雨量と降雨量のデータセットによる実験では、ACGFは最先端のデラライニング法よりも優れていた。
論文 参考訳（メタデータ） (2022-02-19T16:14:10Z) - RCDNet: An Interpretable Rain Convolutional Dictionary Network for
Single Image Deraining [49.99207211126791]
雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。
RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。
このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
論文 参考訳（メタデータ） (2021-07-14T16:08:11Z) - Closing the Loop: Joint Rain Generation and Removal via Disentangled
Image Translation [12.639320247831181]
我々は、雨の発生と除去は同じ硬貨の両側面であり、密結合であるべきだと主張する。
本稿では,各一方向ネットワークが2ループの連雨発生と除去を含む双方向不整合翻訳ネットワークを提案する。
人工および実世界の降雨データセットに関する実験は、最先端の雨よりも提案手法の優越性を示している。
論文 参考訳（メタデータ） (2021-03-25T08:21:43Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z) - Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。
このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
論文 参考訳（メタデータ） (2020-05-19T05:52:13Z) - Conditional Variational Image Deraining [158.76814157115223]
キャラクタリゼーション性能向上のための条件変分画像レイニング(CVID)ネットワーク
本研究では,各画像の降雨密度マップを推定するための空間密度推定(SDE)モジュールを提案する。
合成および実世界のデータセットを用いた実験により,提案したCVIDネットワークは,画像のデライニングにおける従来の決定論的手法よりもはるかに優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-04-23T11:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。