論文の概要: CosalPure: Learning Concept from Group Images for Robust Co-Saliency Detection
- arxiv url: http://arxiv.org/abs/2403.18554v1
- Date: Wed, 27 Mar 2024 13:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 16:48:33.205122
- Title: CosalPure: Learning Concept from Group Images for Robust Co-Saliency Detection
- Title(参考訳): CosalPure:ロバストな共分散検出のためのグループ画像からの学習概念
- Authors: Jiayi Zhu, Qing Guo, Felix Juefei-Xu, Yihao Huang, Yang Liu, Geguang Pu,
- Abstract要約: Co-Salient Object Detection (CoSOD) は、特定の画像群をまたいだ共通領域(通常は前景)を特定することを目的としている。
逆行性摂動は、いくつかの逆行性摂動の影響を受けやすいため、かなりの精度の低下につながる。
本稿では,入力群画像に基づいて,共分散オブジェクトの概念を学習し,新しいロバストネス向上フレームワークを提案する。
- 参考スコア(独自算出の注目度): 22.82243087156918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Co-salient object detection (CoSOD) aims to identify the common and salient (usually in the foreground) regions across a given group of images. Although achieving significant progress, state-of-the-art CoSODs could be easily affected by some adversarial perturbations, leading to substantial accuracy reduction. The adversarial perturbations can mislead CoSODs but do not change the high-level semantic information (e.g., concept) of the co-salient objects. In this paper, we propose a novel robustness enhancement framework by first learning the concept of the co-salient objects based on the input group images and then leveraging this concept to purify adversarial perturbations, which are subsequently fed to CoSODs for robustness enhancement. Specifically, we propose CosalPure containing two modules, i.e., group-image concept learning and concept-guided diffusion purification. For the first module, we adopt a pre-trained text-to-image diffusion model to learn the concept of co-salient objects within group images where the learned concept is robust to adversarial examples. For the second module, we map the adversarial image to the latent space and then perform diffusion generation by embedding the learned concept into the noise prediction function as an extra condition. Our method can effectively alleviate the influence of the SOTA adversarial attack containing different adversarial patterns, including exposure and noise. The extensive results demonstrate that our method could enhance the robustness of CoSODs significantly.
- Abstract(参考訳): Co-Salient Object Detection (CoSOD) は、ある画像群をまたいだ共通領域(通常は前景)を識別することを目的としている。
最先端のCoSODは, 対向性摂動の影響を受けやすいため, 精度は著しく低下した。
逆方向の摂動はCoSODを誤解させることがあるが、コサルトオブジェクトの高レベルな意味情報(例えば概念)は変化しない。
本稿では,まず,入力群画像に基づいて共塩性物体の概念を学習し,その概念を活用して対向摂動を浄化し,その後CoSODに供給してロバスト性向上を図ることによって,新しいロバストネス向上フレームワークを提案する。
具体的には,2つのモジュール,すなわちグループイメージ概念学習と概念誘導拡散浄化を含むCosalPureを提案する。
最初のモジュールでは、事前学習されたテキスト・画像拡散モデルを用いて、学習された概念が敵の例に対して堅牢である群画像内の共塩オブジェクトの概念を学習する。
第2のモジュールでは、逆画像を潜時空間にマッピングし、学習した概念を雑音予測関数に埋め込んで拡散生成する。
本手法は, 露光や騒音など, 異なる対向パターンを含むSOTA対向攻撃の影響を効果的に緩和することができる。
その結果,本手法はCoSODのロバスト性を大幅に向上する可能性が示唆された。
関連論文リスト
- Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。
本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
論文 参考訳(メタデータ) (2024-04-21T16:35:16Z) - IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks [16.577595936609665]
本稿では,画像再サンプリングという,敵対的攻撃に対する新たなアプローチを提案する。
画像再サンプリングは、幾何学的変換によって指定されたシーンの再調整や再レンダリングの過程をシミュレートして、離散画像を新しい画像に変換する。
本手法は,クリーンな画像の精度を維持しつつ,多様な深層モデルの様々な攻撃に対する対角的堅牢性を著しく向上することを示す。
論文 参考訳(メタデータ) (2023-10-18T11:19:32Z) - PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant
Semantic Segmentation [50.556961575275345]
対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。
我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-08-08T01:55:44Z) - Degeneration-Tuning: Using Scrambled Grid shield Unwanted Concepts from
Stable Diffusion [106.42918868850249]
SD重みから不要な概念の内容を保護するために,textbf Degeneration-Tuning (DT) という新しい手法を提案する。
この適応はモデルの重みのレベルで発生するため、DT後のSDは、CrutNetのような他の条件付き拡散フレームワークに移植して不要な概念を保護することができる。
論文 参考訳(メタデータ) (2023-08-02T03:34:44Z) - Robust Single Image Dehazing Based on Consistent and Contrast-Assisted
Reconstruction [95.5735805072852]
画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。
具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。
我々の手法は最先端のアプローチを大きく上回っている。
論文 参考訳(メタデータ) (2022-03-29T08:11:04Z) - Unpaired Deep Image Dehazing Using Contrastive Disentanglement Learning [36.24651058888557]
そこで本稿では,未ペアのクリアでヘイズな画像の集合から,効果的な未ペア学習に基づく画像デハージングネットワークを提案する。
提案手法は,既存の最先端デヘイズ手法に対して良好に機能することを示す。
論文 参考訳(メタデータ) (2022-03-15T06:45:03Z) - Error Diffusion Halftoning Against Adversarial Examples [85.11649974840758]
敵対的な例には、深いニューラルネットワークを誤った予測にだますことができる慎重に作られた摂動が含まれます。
誤り拡散のハーフトン化に基づく新しい画像変換防御を提案し、逆転の例に対して防御するための逆転訓練と組み合わせます。
論文 参考訳(メタデータ) (2021-01-23T07:55:02Z) - Contextual Fusion For Adversarial Robustness [0.0]
ディープニューラルネットワークは、通常、1つの特定の情報ストリームを処理し、様々な種類の敵の摂動に影響を受けやすいように設計されている。
そこで我々はPlaces-CNNとImagenet-CNNから並列に抽出した背景特徴と前景特徴を組み合わせた融合モデルを開発した。
グラデーションをベースとした攻撃では,フュージョンは乱れのないデータの性能を低下させることなく,分類の大幅な改善を可能にする。
論文 参考訳(メタデータ) (2020-11-18T20:13:23Z) - Can You Spot the Chameleon? Adversarially Camouflaging Images from
Co-Salient Object Detection [46.95646405874199]
Co-Salient Object Detection (CoSOD)は近年,検索タスクにおいて重要な役割を担っている。
本稿では,対人共同攻撃という新たな課題を特定する。
我々は,最初のブラックボックス共同対向露光とノイズアタック(Jadena)を提案する。
論文 参考訳(メタデータ) (2020-09-19T15:43:46Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳(メタデータ) (2020-07-29T08:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。