論文の概要: Hierarchical Contrastive Learning for Pattern-Generalizable Image Corruption Detection

• arxiv url: http://arxiv.org/abs/2308.14061v1
• Date: Sun, 27 Aug 2023 10:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 17:17:31.984312
• Title: Hierarchical Contrastive Learning for Pattern-Generalizable Image Corruption Detection
• Title（参考訳）: パターン一般化画像腐敗検出のための階層的コントラスト学習
• Authors: Xin Feng, Yifeng Xu, Guangming Lu, Wenjie Pei
• Abstract要約: 劣化領域を検出するための階層的コントラスト学習フレームワークを開発する。 特殊な階層的相互作用機構は、異なるスケールでのコントラスト学習の知識を促進するように設計されている。 我々のモデルは様々な汚職パターンにまたがってよく一般化できる。
• 参考スコア（独自算出の注目度）: 40.04083743934034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective image restoration with large-size corruptions, such as blind image inpainting, entails precise detection of corruption region masks which remains extremely challenging due to diverse shapes and patterns of corruptions. In this work, we present a novel method for automatic corruption detection, which allows for blind corruption restoration without known corruption masks. Specifically, we develop a hierarchical contrastive learning framework to detect corrupted regions by capturing the intrinsic semantic distinctions between corrupted and uncorrupted regions. In particular, our model detects the corrupted mask in a coarse-to-fine manner by first predicting a coarse mask by contrastive learning in low-resolution feature space and then refines the uncertain area of the mask by high-resolution contrastive learning. A specialized hierarchical interaction mechanism is designed to facilitate the knowledge propagation of contrastive learning in different scales, boosting the modeling performance substantially. The detected multi-scale corruption masks are then leveraged to guide the corruption restoration. Detecting corrupted regions by learning the contrastive distinctions rather than the semantic patterns of corruptions, our model has well generalization ability across different corruption patterns. Extensive experiments demonstrate following merits of our model: 1) the superior performance over other methods on both corruption detection and various image restoration tasks including blind inpainting and watermark removal, and 2) strong generalization across different corruption patterns such as graffiti, random noise or other image content. Codes and trained weights are available at https://github.com/xyfJASON/HCL .
• Abstract（参考訳）: ブラインド画像の塗装などの大規模な汚職による効果的な画像復元は、様々な形態や汚職パターンのために非常に困難なままの汚職地域マスクの正確な検出を必要とする。 本研究では, 既知の汚損マスクを使わずに, ブラインド汚損復旧を可能にする, 自動汚損検出手法を提案する。 具体的には,破壊領域と非破壊領域の固有の意味的区別を捉えることにより,破壊領域を検出する階層的対比学習フレームワークを開発した。 特に,低分解能特徴空間におけるコントラスト学習により粗いマスクを最初に予測し,高分解能コントラスト学習により不確かさ領域を精錬し,粗さから粗いマスクを検出する。 特殊な階層的相互作用機構は、異なるスケールでのコントラスト学習の知識伝播を促進するように設計され、モデリング性能を大幅に向上させる。 検出されたマルチスケールの汚職マスクを利用して、汚職回復を誘導する。 このモデルでは, 汚職の意味的パターンではなく, 対照的な区別を学習することで, 腐敗した地域を検出できる。 大規模な実験は、我々のモデルのメリットを例示します。 1)ブラインド塗装や透かし除去を含む腐敗検出および画像復元作業において,他の方法よりも優れた性能が得られた。 2) 落書き, ランダムノイズ, その他の画像内容など, さまざまな汚職パターンの強い一般化。 コードはhttps://github.com/xyfJASON/HCL で公開されている。

関連論文リスト

• Corruptions of Supervised Learning Problems: Typology and Mitigations [11.294508617469905]
  我々は情報理論の観点から汚職の一般的な理論を発展させる。 ここでは確率分布の変化に注目します。 この研究は、ラベルと属性の両方に対する共同や依存的な汚職から生じる複雑さに光を当てている。
  論文  参考訳（メタデータ） (2023-07-17T16:57:01Z)
• Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions [48.34142457385199]
  MUFIAは、モデルが失敗する可能性のある特定の種類の汚職を特定するために設計されたアルゴリズムである。 最先端のモデルでさえ、既知の一般的な汚職に対して堅牢であるように訓練されたモデルでさえ、MUFIAによって作られた低視認性ベースの汚職と戦っている。
  論文  参考訳（メタデータ） (2023-06-12T15:19:13Z)
• Point-DAE: Denoising Autoencoders for Self-supervised Point Cloud Learning [58.48149060125912]
  我々は、より一般的なポイントクラウド学習用オートエンコーダ(Point-DAE)について、マスキング以外の多くの種類の汚職を調査して検討する。 具体的には、特定の破損を入力としてポイントクラウドを分解し、エンコーダ・デコーダモデルを学び、元のポイントクラウドを破損したバージョンから再構築する。
  論文  参考訳（メタデータ） (2022-11-13T08:02:03Z)
• Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
  我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。 本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。 提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-12T17:45:03Z)
• Abutting Grating Illusion: Cognitive Challenge to Neural Network Models [4.031522806737616]
  本稿では, 当接錯覚に基づく新しい汚職手法を提案する。 この方法は、勾配が定義された境界線を破壊し、互いに接する直線格子を用いて照明輪郭の知覚を生成する。 さまざまなディープラーニングモデルは、スクラッチからトレーニングされたモデルや、ImageNetやさまざまなデータ拡張テクニックで事前トレーニングされた109モデルなど、汚職に対してテストされている。
  論文  参考訳（メタデータ） (2022-08-08T08:01:11Z)
• Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection [97.93062818228015]
  本稿では,再建に基づく機能を,新たな自己監督型予測アーキテクチャビルディングブロックに統合することを提案する。 我々のブロックは、受容領域におけるマスク領域に対する再構成誤差を最小限に抑える損失を備える。 画像やビデオの異常検出のための最先端フレームワークに組み込むことで,ブロックの汎用性を実証する。
  論文  参考訳（メタデータ） (2021-11-17T13:30:31Z)
• Improving robustness against common corruptions with frequency biased models [112.65717928060195]
  目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします 画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。 畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-30T10:44:50Z)
• A simple way to make neural networks robust against diverse image corruptions [29.225922892332342]
  加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。 非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
  論文  参考訳（メタデータ） (2020-01-16T20:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。