論文の概要: Calibration and Consistency of Adversarial Surrogate Losses
- arxiv url: http://arxiv.org/abs/2104.09658v1
- Date: Mon, 19 Apr 2021 21:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 02:48:46.835617
- Title: Calibration and Consistency of Adversarial Surrogate Losses
- Title（参考訳）: 逆サーロゲート損失の校正と整合性
- Authors: Pranjal Awasthi and Natalie Frank and Anqi Mao and Mehryar Mohri and
Yutao Zhong
- Abstract要約: adrialversa robustnessは、アプリケーションにおける分類器のますます重要な特性である。
しかし、どの代理損失を使うべきで、いつ理論的保証から利益を得るのか?
本稿では, H-calibration と H-consistency of adversarial surrogate loss の詳細な分析を含む, この問題の広範な研究について述べる。
- 参考スコア（独自算出の注目度）: 46.04004505351902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial robustness is an increasingly critical property of classifiers in
applications. The design of robust algorithms relies on surrogate losses since
the optimization of the adversarial loss with most hypothesis sets is NP-hard.
But which surrogate losses should be used and when do they benefit from
theoretical guarantees? We present an extensive study of this question,
including a detailed analysis of the H-calibration and H-consistency of
adversarial surrogate losses. We show that, under some general assumptions,
convex loss functions, or the supremum-based convex losses often used in
applications, are not H-calibrated for important functions classes such as
generalized linear models or one-layer neural networks. We then give a
characterization of H-calibration and prove that some surrogate losses are
indeed H-calibrated for the adversarial loss, with these function classes.
Next, we show that H-calibration is not sufficient to guarantee consistency and
prove that, in the absence of any distributional assumption, no continuous
surrogate loss is consistent in the adversarial setting. This, in particular,
falsifies a claim made in a COLT 2020 publication. Next, we identify natural
conditions under which some surrogate losses that we describe in detail are
H-consistent for function classes such as generalized linear models and
one-layer neural networks. We also report a series of empirical results with
simulated data, which show that many H-calibrated surrogate losses are indeed
not H-consistent, and validate our theoretical assumptions.
- Abstract（参考訳）: 逆の堅牢性は、アプリケーションにおける分類器のますます重要な性質である。
ほとんどの仮説集合による逆損失の最適化はnp-hardであるため、ロバストアルゴリズムの設計は代理損失に依存する。
しかし、どの代理損失を使うべきで、いつ理論的保証から利益を得るのか?
本稿では, H-calibration と H-consistency of adversarial surrogate loss の詳細な分析を含む, この問題の広範な研究について述べる。
一般化線形モデルや一層ニューラルネットワークのような重要な関数クラスに対しては、いくつかの一般的な仮定の下では、凸損失関数、あるいはアプリケーションでよく使用される上限に基づく凸損失がH校正されないことを示す。
すると、H-キャリブレーションのキャラクタリゼーションを与え、いくつかのサロゲート損失が、これらの関数クラスと共に、実際にH-キャリブレーションされることを示す。
次に、H-キャリブレーションが整合性を保証するのに十分でないことを示し、任意の分布仮定がなければ、連続的なサロゲート損失は対向的な設定では一致しないことを示す。
これは特に、COLT 2020の出版物における主張を偽造している。
次に, 一般化線形モデルや一層ニューラルネットワークなどの関数クラスに対して, H-consistent な代理損失を詳細に記述した自然条件を同定する。
また,h-calibrated surrogateの損失の多くがh-consistenceではないことを示すシミュレーションデータを用いて実験結果を報告し,理論的な仮定を検証した。
関連論文リスト
- Inference with non-differentiable surrogate loss in a general high-dimensional classification framework [4.792322531593389]
仮説テストと区間推定を構築するために,カーネルスムーズな非相関スコアを提案する。
具体的には、不連続点近傍の不連続勾配を滑らかにするためにカーネル近似を採用する。
カーネルスムースなデコラートスコアとそのクロスフィットバージョンを高次元設定で限定分布として確立する。
論文 参考訳（メタデータ） (2024-05-20T01:50:35Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳（メタデータ） (2023-04-14T17:58:23Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳（メタデータ） (2022-10-16T22:25:27Z) - An Embedding Framework for the Design and Analysis of Consistent
Polyhedral Surrogates [17.596501992526477]
コンベックス・サロゲート損失関数の組込みによる設計を,分類,ランキング,構造化リンクなどの問題に対して検討する。
埋め込みは、一貫したリンク関数と一貫したリンク関数をもたらす。
私たちの結果は、いくつかの例を示すように、構成的です。
論文 参考訳（メタデータ） (2022-06-29T15:16:51Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Constrained Classification and Policy Learning [0.0]
制約付き分類器の集合における代理損失手順の整合性について検討する。
ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
論文 参考訳（メタデータ） (2021-06-24T10:43:00Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳（メタデータ） (2021-01-05T06:25:47Z) - Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。
非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
論文 参考訳（メタデータ） (2020-12-09T16:48:03Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳（メタデータ） (2020-05-28T02:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。