論文の概要: Guess First to Enable Better Compression and Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2001.03311v1
• Date: Fri, 10 Jan 2020 05:12:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 22:46:45.002697
• Title: Guess First to Enable Better Compression and Adversarial Robustness
• Title（参考訳）: より良い圧縮と敵対的ロバスト性を実現するためのガイド
• Authors: Sicheng Zhu, Bang An, Shiyu Niu
• Abstract要約: 本稿では,モデル推論をラベル仮説で条件付けしたバイオインスパイアされた分類フレームワークを提案する。 このフレームワークのためのトレーニング目標のクラスと、情報ボトルネックレギュレータを提供する。 ラベル情報の圧縮と除去により、自然な精度を損なうことなく、敵の堅牢性がさらに向上する。
• 参考スコア（独自算出の注目度）: 5.579029325265822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models are generally vulnerable to adversarial examples, which is in contrast to the robustness of humans. In this paper, we try to leverage one of the mechanisms in human recognition and propose a bio-inspired classification framework in which model inference is conditioned on label hypothesis. We provide a class of training objectives for this framework and an information bottleneck regularizer which utilizes the advantage that label information can be discarded during inference. This framework enables better compression of the mutual information between inputs and latent representations without loss of learning capacity, at the cost of tractable inference complexity. Better compression and elimination of label information further bring better adversarial robustness without loss of natural accuracy, which is demonstrated in the experiment.
• Abstract（参考訳）: 機械学習モデルは一般的に、人間の頑健さとは対照的に、敵対的な例に弱い。 本稿では,人間認識のメカニズムの1つを活用し,ラベル仮説に基づいてモデル推論を行うバイオインスパイアされた分類フレームワークを提案する。 本稿では,このフレームワークの学習目標のクラスと,推論中にラベル情報を破棄できるという利点を生かした情報ボトルネック調整器を提案する。 このフレームワークは、扱いやすい推論の複雑さを犠牲にして、学習能力を失うことなく、入力と潜在表現の間の相互情報のより優れた圧縮を可能にする。 ラベル情報の圧縮と削除により, 自然な精度を損なうことなく, 敵の頑健性がさらに向上し, 実験で実証された。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
  表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。 線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。 エンドツーエンドの分類のための堅牢性証明を提供する。
  論文  参考訳（メタデータ） (2020-10-22T22:05:21Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning [11.206758778146288]
  決定システムに対する最適な敵攻撃を設計する理論的問題を考察する。 興味の離散的かつ連続的な信号に対する最適な敵攻撃の導出について述べる。 入力信号の重複コピーが複数用意されている場合、相互情報の最小化のために敵攻撃を行うのは非常に困難であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T07:45:25Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Self-Supervised Relational Reasoning for Representation Learning [5.076419064097733]
  自己教師型学習では、ラベルのないデータに対して代替ターゲットを定義することにより、代理目的を達成することを課題とする。 本稿では,学習者が無ラベルデータに暗黙的な情報から信号をブートストラップできる,新たな自己教師型関係推論法を提案する。 提案手法は,標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って評価する。
  論文  参考訳（メタデータ） (2020-06-10T14:24:25Z)
• Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization [15.087280646796527]
  敵の入力に対して堅牢な機械学習モデルを訓練することは、一見不可能な課題である。 我々は,入力分布と出力分布の相互情報の最大変化をキャプチャする表現脆弱性の概念を開発する。 最悪ケースの相互情報を最大化することにより,本質的に堅牢な表現を得るための教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2020-02-26T21:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。