論文の概要: Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization

• arxiv url: http://arxiv.org/abs/2002.11798v2
• Date: Sun, 5 Jul 2020 15:18:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:00:13.569464
• Title: Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
• Title（参考訳）: 最悪の相互情報最大化による逆ロバスト表現の学習
• Authors: Sicheng Zhu, Xiao Zhang, David Evans
• Abstract要約: 敵の入力に対して堅牢な機械学習モデルを訓練することは、一見不可能な課題である。 我々は,入力分布と出力分布の相互情報の最大変化をキャプチャする表現脆弱性の概念を開発する。 最悪ケースの相互情報を最大化することにより,本質的に堅牢な表現を得るための教師なし学習手法を提案する。
• 参考スコア（独自算出の注目度）: 15.087280646796527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training machine learning models that are robust against adversarial inputs poses seemingly insurmountable challenges. To better understand adversarial robustness, we consider the underlying problem of learning robust representations. We develop a notion of representation vulnerability that captures the maximum change of mutual information between the input and output distributions, under the worst-case input perturbation. Then, we prove a theorem that establishes a lower bound on the minimum adversarial risk that can be achieved for any downstream classifier based on its representation vulnerability. We propose an unsupervised learning method for obtaining intrinsically robust representations by maximizing the worst-case mutual information between the input and output distributions. Experiments on downstream classification tasks support the robustness of the representations found using unsupervised learning with our training principle.
• Abstract（参考訳）: 敵の入力に対して堅牢な機械学習モデルを訓練することは、一見不可能な課題である。 敵対的ロバスト性をよりよく理解するために,ロバスト表現を学ぶという根本的な問題を考える。 我々は,最悪の入力摂動の下で,入力分布と出力分布の相互情報の最大変化を捉える表現脆弱性の概念を開発する。 そして,その表現の脆弱性に基づいて下流の分類器に対して達成可能な最小の対向リスクに対して下限を確立する定理を証明した。 本稿では,入力分布と出力分布の最悪の相互情報を最大化し,本質的に堅牢な表現を得る教師なし学習手法を提案する。 下流分類タスクの実験は、教師なし学習とトレーニング原理を用いた表現の堅牢性を支援する。

関連論文リスト

• Representation Learning with Conditional Information Flow Maximization [29.36409607847339]
  本稿では,条件情報フローと呼ばれる情報理論表現学習フレームワークを提案する。 学習された表現は、優れた特徴均一性と十分な予測能力を有する。 実験により、学習された表現はより十分で、堅牢で、伝達可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-08T16:19:18Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness [17.5771010094384]
  敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。 最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。 本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T18:14:39Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Hybrid Generative-Contrastive Representation Learning [32.84066504783469]
  コントラストと生成的損失の両方で訓練されたトランスフォーマーベースのエンコーダデコーダアーキテクチャは、生成性能を損なうことなく、高い識別性および堅牢性を持つ表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T04:23:48Z)
• Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
  教師付き学習では、データは不完全で差別的な情報で注釈付けされる。 本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。 弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-04T18:14:32Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning [11.206758778146288]
  決定システムに対する最適な敵攻撃を設計する理論的問題を考察する。 興味の離散的かつ連続的な信号に対する最適な敵攻撃の導出について述べる。 入力信号の重複コピーが複数用意されている場合、相互情報の最小化のために敵攻撃を行うのは非常に困難であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T07:45:25Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。