論文の概要: Adversarial Robustness with Semi-Infinite Constrained Learning

• arxiv url: http://arxiv.org/abs/2110.15767v1
• Date: Fri, 29 Oct 2021 13:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:21:16.122991
• Title: Adversarial Robustness with Semi-Infinite Constrained Learning
• Title（参考訳）: 半無限制約学習による逆ロバスト性
• Authors: Alexander Robey and Luiz F. O. Chamon and George J. Pappas and Hamed Hassani and Alejandro Ribeiro
• Abstract要約: 入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
• 参考スコア（独自算出の注目度）: 177.42714838799924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite strong performance in numerous applications, the fragility of deep learning to input perturbations has raised serious questions about its use in safety-critical domains. While adversarial training can mitigate this issue in practice, state-of-the-art methods are increasingly application-dependent, heuristic in nature, and suffer from fundamental trade-offs between nominal performance and robustness. Moreover, the problem of finding worst-case perturbations is non-convex and underparameterized, both of which engender a non-favorable optimization landscape. Thus, there is a gap between the theory and practice of adversarial training, particularly with respect to when and why adversarial training works. In this paper, we take a constrained learning approach to address these questions and to provide a theoretical foundation for robust learning. In particular, we leverage semi-infinite optimization and non-convex duality theory to show that adversarial training is equivalent to a statistical problem over perturbation distributions, which we characterize completely. Notably, we show that a myriad of previous robust training techniques can be recovered for particular, sub-optimal choices of these distributions. Using these insights, we then propose a hybrid Langevin Monte Carlo approach of which several common algorithms (e.g., PGD) are special cases. Finally, we show that our approach can mitigate the trade-off between nominal and robust performance, yielding state-of-the-art results on MNIST and CIFAR-10. Our code is available at: https://github.com/arobey1/advbench.
• Abstract（参考訳）: 多くのアプリケーションで高い性能を示したにもかかわらず、深層学習による摂動入力の脆弱さは、安全クリティカルドメインでの使用に関して深刻な疑問を引き起こしている。 敵対的なトレーニングは、実際にこの問題を軽減することができるが、最先端の手法は、ますますアプリケーションに依存し、本質的にヒューリスティックであり、名目上のパフォーマンスと堅牢性の間の根本的なトレードオフに苦しむ。 さらに、最悪の場合の摂動を見つける問題は、非凸かつ過小パラメータ化され、どちらも好ましくない最適化の展望をもたらす。 したがって、特に、敵意トレーニングが働く時期と理由に関して、敵意トレーニングの理論と実践の間にはギャップがある。 本稿では,これらの問題に対処するための制約付き学習アプローチと,堅牢な学習のための理論的基礎を提供する。 特に,半無限最適化と非凸双対性理論を用いて,逆訓練が摂動分布上の統計的問題と同値であることを示す。 特に,従来の頑健な学習手法の無数において,これらの分布の最適部分選択を再現できることが示唆された。 これらの知見を用いて,いくつかの一般的なアルゴリズム(pgdなど)が特別な場合であるハイブリッドランジュバンモンテカルロ法を提案する。 最後に,本手法は,MNISTとCIFAR-10の最先端結果が得られることによって,名目性能とロバスト性能のトレードオフを緩和できることを示す。 私たちのコードは、https://github.com/arobey1/advbench.comで利用可能です。

関連論文リスト

• Risk-Sensitive Soft Actor-Critic for Robust Deep Reinforcement Learning under Distribution Shifts [11.765000124617186]
  本研究では、文脈多段階最適化問題における分散シフトに対する深層強化学習アルゴリズムの堅牢性について検討する。 提案アルゴリズムは,リスクニュートラルなソフトアクター・クライブや,頑健な深層強化学習のための2つのベンチマーク手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-15T14:55:38Z)
• Beyond Expectations: Learning with Stochastic Dominance Made Practical [88.06211893690964]
  支配は、不確実な結果で意思決定を行うためのリスク-逆の選好をモデル化する。 理論上は魅力的だが、機械学習における優位性の応用は乏しい。 まず支配の概念を一般化し、任意の確率変数の任意のペア間の比較を可能にする。 次に、優位性の観点から最適解を見つけるための単純で効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-05T03:21:23Z)
• An Optimal Transport Approach for Computing Adversarial Training Lower Bounds in Multiclass Classification [3.447848701446988]
  強靭性を強制する一般的なパラダイムは、敵対的訓練(AT)であるが、これは多くの計算的および理論的困難をもたらす。 最近の研究は、ATとマルチクラス分類設定(MOT)の接続を開発し、この問題を研究するための新しいツールセットをアンロックしている。 本稿では,最適対向リスクの普遍的下界を計算するための計算処理可能な数値アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:03:47Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Probabilistically Robust Learning: Balancing Average- and Worst-case Performance [105.87195436925722]
  我々は、正確で不安定な平均ケースと頑健で保守的な最悪のケースのギャップを埋める、堅牢性確率というフレームワークを提案する。 理論的には、このフレームワークはパフォーマンスと最悪のケースと平均ケース学習のサンプル複雑さの間のトレードオフを克服する。
  論文  参考訳（メタデータ） (2022-02-02T17:01:38Z)
• Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations [1.0609815608017066]
  本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。 既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。 ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
  論文  参考訳（メタデータ） (2021-12-28T05:47:24Z)
• On the Convergence and Robustness of Adversarial Training [134.25999006326916]
  Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。 生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。 その結果,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2021-12-15T17:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。