論文の概要: Probabilistically Robust Learning: Balancing Average- and Worst-case Performance

• arxiv url: http://arxiv.org/abs/2202.01136v1
• Date: Wed, 2 Feb 2022 17:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 13:53:03.724731
• Title: Probabilistically Robust Learning: Balancing Average- and Worst-case Performance
• Title（参考訳）: 確率的にロバストな学習: 平均と最悪の場合のパフォーマンスのバランス
• Authors: Alexander Robey and Luiz F. O. Chamon and George J. Pappas and Hamed Hassani
• Abstract要約: 我々は、正確で不安定な平均ケースと頑健で保守的な最悪のケースのギャップを埋める、堅牢性確率というフレームワークを提案する。 理論的には、このフレームワークはパフォーマンスと最悪のケースと平均ケース学習のサンプル複雑さの間のトレードオフを克服する。
• 参考スコア（独自算出の注目度）: 105.87195436925722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many of the successes of machine learning are based on minimizing an averaged loss function. However, it is well-known that this paradigm suffers from robustness issues that hinder its applicability in safety-critical domains. These issues are often addressed by training against worst-case perturbations of data, a technique known as adversarial training. Although empirically effective, adversarial training can be overly conservative, leading to unfavorable trade-offs between nominal performance and robustness. To this end, in this paper we propose a framework called probabilistic robustness that bridges the gap between the accurate, yet brittle average case and the robust, yet conservative worst case by enforcing robustness to most rather than to all perturbations. From a theoretical point of view, this framework overcomes the trade-offs between the performance and the sample-complexity of worst-case and average-case learning. From a practical point of view, we propose a novel algorithm based on risk-aware optimization that effectively balances average- and worst-case performance at a considerably lower computational cost relative to adversarial training. Our results on MNIST, CIFAR-10, and SVHN illustrate the advantages of this framework on the spectrum from average- to worst-case robustness.
• Abstract（参考訳）: 機械学習の成功の多くは、平均損失関数の最小化に基づいている。 しかし、このパラダイムが安全クリティカルドメインの適用性を阻害する堅牢性の問題に悩まされていることはよく知られている。 これらの問題は、最悪のデータ摂動に対するトレーニングによって対処されることが多い。 経験的に効果的であるが、敵対的な訓練は過度に保守的であり、名目上のパフォーマンスと堅牢性の間の不利なトレードオフをもたらす。 そこで本稿では, 確率的頑健性(probabilistic robustness)というフレームワークを提案し, 正確で不安定な平均ケースと, 頑健で保守的な最悪のケースとのギャップを橋渡しする。 理論的には、このフレームワークはパフォーマンスと最悪のケースと平均ケース学習のサンプル複雑さの間のトレードオフを克服する。 実践的な観点からは,平均値と最悪の場合のパフォーマンスを,逆訓練に比べてかなり低い計算コストで効果的にバランスさせる,リスクアウェア最適化に基づく新しいアルゴリズムを提案する。 MNIST, CIFAR-10, SVHN で得られた結果から, 平均から最悪の場合のロバスト性において, このフレームワークの利点が示された。

関連論文リスト

• Conflict-Aware Adversarial Training [29.804312958830636]
  我々は、重み付け平均法は、標準的な性能と対向ロバスト性に対する最良のトレードオフを提供していないと論じる。 テキストbf競合認識適応訓練(CA-AT)という,標準と対向的損失の凸結合のための競合認識因子を用いた対向的トレーニングのための新たなトレードオフパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-21T23:44:03Z)
• Towards Fairness-Aware Adversarial Learning [13.932705960012846]
  フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。 提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。 特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
  論文  参考訳（メタデータ） (2024-02-27T18:01:59Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• WAT: Improve the Worst-class Robustness in Adversarial Training [11.872656386839436]
  敵の訓練は敵の攻撃から守るための一般的な戦略である。 ディープニューラルネットワーク(DNN)は、敵の例に弱いことが示されている。 本稿では,最悪の対人訓練の新たな枠組みを提案する。
  論文  参考訳（メタデータ） (2023-02-08T12:54:19Z)
• On the Convergence and Robustness of Adversarial Training [134.25999006326916]
  Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。 生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。 その結果,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2021-12-15T17:54:08Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。