論文の概要: Singular Regularization with Information Bottleneck Improves Model's Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2312.02237v1
• Date: Mon, 4 Dec 2023 09:07:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 17:58:45.842404
• Title: Singular Regularization with Information Bottleneck Improves Model's Adversarial Robustness
• Title（参考訳）: 情報ボトルネックを伴う特異正則化はモデルの敵対的ロバスト性を改善する
• Authors: Guanlin Li, Naishan Zheng, Man Zhou, Jie Zhang, Tianwei Zhang
• Abstract要約: 敵対的な例は、ディープラーニングモデルに対する最も深刻な脅威の1つです。 本研究では,非構造雑音として,明確なパターンを持たない逆情報について検討する。 本稿では,敵対情報を正規化し,情報ボトルネック理論を組み合わせるための新しいモジュールを提案する。
• 参考スコア（独自算出の注目度）: 30.361227245739745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial examples are one of the most severe threats to deep learning models. Numerous works have been proposed to study and defend adversarial examples. However, these works lack analysis of adversarial information or perturbation, which cannot reveal the mystery of adversarial examples and lose proper interpretation. In this paper, we aim to fill this gap by studying adversarial information as unstructured noise, which does not have a clear pattern. Specifically, we provide some empirical studies with singular value decomposition, by decomposing images into several matrices, to analyze adversarial information for different attacks. Based on the analysis, we propose a new module to regularize adversarial information and combine information bottleneck theory, which is proposed to theoretically restrict intermediate representations. Therefore, our method is interpretable. Moreover, the fashion of our design is a novel principle that is general and unified. Equipped with our new module, we evaluate two popular model structures on two mainstream datasets with various adversarial attacks. The results indicate that the improvement in robust accuracy is significant. On the other hand, we prove that our method is efficient with only a few additional parameters and able to be explained under regional faithfulness analysis.
• Abstract（参考訳）: 敵対的な例は、ディープラーニングモデルに対する最も深刻な脅威の1つです。 敵対的な例を研究し、擁護するために多くの研究が提案されている。 しかし、これらの研究は、敵対的な情報や摂動の分析を欠いているため、敵対的な事例の謎を明らかにすることはできず、適切な解釈を失う。 本稿では,このギャップを,明確なパターンを持たない非構造雑音として対向的情報を研究することによって埋めることを目的とする。 具体的には、画像を複数の行列に分解し、異なる攻撃に対する敵情報を分析することによって、特異値分解を伴う実証的研究を行う。 本報告では,解析に基づいて,中間表現を理論的に制限する情報ボトルネック理論とを結合する新たなモジュールを提案する。 したがって,本手法は解釈可能である。 さらに、我々のデザインの流行は、一般的かつ統一された新しい原則である。 新しいモジュールを組み込んだ2つの主流データセット上の2つの一般的なモデル構造を,種々の逆攻撃で評価した。 その結果,ロバストな精度の向上が示唆された。 一方,本手法は,若干のパラメータを追加するだけで効率的であり,地域的忠実性分析により説明できることを示す。

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
  本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。 具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。 機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
  論文  参考訳（メタデータ） (2024-07-04T15:35:42Z)
• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• On Evaluating the Adversarial Robustness of Semantic Segmentation Models [0.0]
  敵の摂動に対する防御手段として、多くの敵の訓練アプローチが提案されている。 私たちは、前回の作業で堅牢であると主張するモデルが、実際にはまったく堅牢ではないことを初めて示しています。 次に, 強攻撃群においても, 合理的に堅牢なモデルを生成する, 単純な対向訓練アルゴリズムを評価する。
  論文  参考訳（メタデータ） (2023-06-25T11:45:08Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Towards A Conceptually Simple Defensive Approach for Few-shot classifiers Against Adversarial Support Samples [107.38834819682315]
  本研究は,数発の分類器を敵攻撃から守るための概念的簡便なアプローチについて検討する。 本稿では,自己相似性とフィルタリングの概念を用いた簡易な攻撃非依存検出法を提案する。 ミニイメージネット(MI)とCUBデータセットの攻撃検出性能は良好である。
  論文  参考訳（メタデータ） (2021-10-24T05:46:03Z)
• From Canonical Correlation Analysis to Self-supervised Graph Neural Networks [99.44881722969046]
  本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。 提案手法は、7つの公開グラフデータセット上で競合的に動作する。
  論文  参考訳（メタデータ） (2021-06-23T15:55:47Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。