論文の概要: Adversarial Information Bottleneck

• arxiv url: http://arxiv.org/abs/2103.00381v2
• Date: Wed, 3 Mar 2021 03:42:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 09:51:57.641445
• Title: Adversarial Information Bottleneck
• Title（参考訳）: 対人情報ボトルネック
• Authors: Penglong Zhai and Shihua Zhang
• Abstract要約: 情報圧縮と予測の面でディープラーニングを説明するために、情報ボトルネック(IB)原則が採用されています。 以前の方法は、表現を学習するためにランダムノイズを導入してIB原理を最適化することを試みた。 本稿では,表現の基盤となる分布について,明示的な仮定を伴わない逆情報ボトルネック(AIB)手法を提案する。
• 参考スコア（独自算出の注目度）: 2.66512000865131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The information bottleneck (IB) principle has been adopted to explain deep learning in terms of information compression and prediction, which are balanced by a trade-off hyperparameter. How to optimize the IB principle for better robustness and figure out the effects of compression through the trade-off hyperparameter are two challenging problems. Previous methods attempted to optimize the IB principle by introducing random noise into learning the representation and achieved state-of-the-art performance in the nuisance information compression and semantic information extraction. However, their performance on resisting adversarial perturbations is far less impressive. To this end, we propose an adversarial information bottleneck (AIB) method without any explicit assumptions about the underlying distribution of the representations, which can be optimized effectively by solving a Min-Max optimization problem. Numerical experiments on synthetic and real-world datasets demonstrate its effectiveness on learning more invariant representations and mitigating adversarial perturbations compared to several competing IB methods. In addition, we analyse the adversarial robustness of diverse IB methods contrasting with their IB curves, and reveal that IB models with the hyperparameter $\beta$ corresponding to the knee point in the IB curve achieve the best trade-off between compression and prediction, and has best robustness against various attacks.
• Abstract（参考訳）: 情報ボトルネック(IB)の原則は、トレードオフハイパーパラメータによってバランスのとれた情報圧縮と予測の観点でディープラーニングを説明するために採用されています。 IBの原理を最適化してロバスト性を向上し、トレードオフハイパーパラメータによる圧縮の効果を明らかにする方法は2つの課題である。 従来の手法では、表現の学習にランダムノイズを導入し、ニュアンス情報圧縮と意味情報抽出における最先端性能を実現し、ISBの原理を最適化しようとした。 しかし、逆境の摂動に抵抗する彼らのパフォーマンスは、それほど印象的ではない。 この目的のために,Min-Max最適化問題を解くことで効率よく最適化できる,表現の基盤分布に関する明確な仮定を伴わない逆情報ボトルネック(AIB)手法を提案する。 合成および実世界のデータセットに関する数値実験は、複数の競合するIB法と比較して、より不変な表現を学習し、敵対的な摂動を緩和する効果を示す。 さらに,IB曲線と対比する多様なIB手法の対角的ロバスト性を解析し,IB曲線の膝点に対応するハイパーパラメータ$\beta$のIBモデルが,圧縮と予測の最良のトレードオフを達成し,様々な攻撃に対して最良のロバスト性を有することを示す。

関連論文リスト

• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• The Information Bottleneck's Ordinary Differential Equation: First-Order Root-Tracking for the IB [0.0]
  Information Bottleneck (IB) は、関連する情報の失われた圧縮方法である。 IBの最適トレードオフ曲線の基盤となるダイナミクスを利用する。 IB分岐の理解を驚くほど正確な数値アルゴリズムに変換する。
  論文  参考訳（メタデータ） (2023-06-16T12:02:19Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Perturbation Theory for the Information Bottleneck [6.117084972237769]
  情報ボトルネック (IB) は、データから関連情報を抽出する手法である。 IB問題の非線形性は、一般に計算コストが高く解析的に難解である。 IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
  論文  参考訳（メタデータ） (2021-05-28T16:59:01Z)
• Disentangled Information Bottleneck [22.587164077221917]
  ターゲット予測性能の損失を伴わずに、最大圧縮源に一貫性のあるDisentangled Information Bottleneck(DisenIB)を紹介します。 提案手法は最大圧縮に一貫性があり, 一般化, 敵攻撃に対する堅牢性, 分布外検出, 教師付きディエンタングリングの点で良好に機能する。
  論文  参考訳（メタデータ） (2020-12-14T09:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。