論文の概要: Understanding Generalization in Adversarial Training via the
Bias-Variance Decomposition
- arxiv url: http://arxiv.org/abs/2103.09947v1
- Date: Wed, 17 Mar 2021 23:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 14:10:07.601099
- Title: Understanding Generalization in Adversarial Training via the
Bias-Variance Decomposition
- Title（参考訳）: Bias-Variance Decompositionによる対人訓練の一般化の理解
- Authors: Yaodong Yu, Zitong Yang, Edgar Dobriban, Jacob Steinhardt, Yi Ma
- Abstract要約: テストのリスクをバイアスと分散コンポーネントに分解します。
バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。
一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
- 参考スコア（独自算出の注目度）: 39.108491135488286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarially trained models exhibit a large generalization gap: they can
interpolate the training set even for large perturbation radii, but at the cost
of large test error on clean samples. To investigate this gap, we decompose the
test risk into its bias and variance components. We find that the bias
increases monotonically with perturbation size and is the dominant term in the
risk. Meanwhile, the variance is unimodal, peaking near the interpolation
threshold for the training set. In contrast, we show that popular explanations
for the generalization gap instead predict the variance to be monotonic, which
leaves an unresolved mystery. We show that the same unimodal variance appears
in a simple high-dimensional logistic regression problem, as well as for
randomized smoothing. Overall, our results highlight the power of bias-variance
decompositions in modern settings--by providing two measurements instead of
one, they can rule out some theories and clarify others.
- Abstract（参考訳）: 反対に訓練されたモデルは大きな一般化ギャップを示し、大きな摂動半径でもトレーニングセットを補間できるが、クリーンなサンプルでは大きなテストエラーが発生する。
このギャップを調査するために,テストリスクをバイアスと分散成分に分解する。
バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。
一方、分散は単調であり、トレーニングセットの補間しきい値付近でピークとなる。
対照的に、一般化ギャップの一般的な説明は、代わりに分散が単調であると予測し、未解決のミステリーを残している。
同一の一様分散が単純な高次元ロジスティック回帰問題やランダム化平滑化問題にも現れることを示した。
全体としては、現代の設定におけるバイアス分散分解のパワーを強調します。2つの測定結果を提供することで、いくつかの理論を除外し、他の理論を明確にすることができます。
関連論文リスト
- Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。
ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。
我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
論文 参考訳（メタデータ） (2024-10-08T12:26:48Z) - It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep
Models [51.66015254740692]
深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。
我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
論文 参考訳（メタデータ） (2023-10-13T17:06:34Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。
条件付き推定は必然的に既約誤差を生じさせることを示す。
経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
論文 参考訳（メタデータ） (2022-06-21T17:46:35Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳（メタデータ） (2020-11-04T21:04:02Z) - What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。
最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。
本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
論文 参考訳（メタデータ） (2020-10-11T05:21:13Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳（メタデータ） (2020-09-24T19:34:37Z) - Rethinking Bias-Variance Trade-off for Generalization of Neural Networks [40.04927952870877]
ニューラルネットワークのバイアスとばらつきを測定することで、これに対する簡単な説明を提供する。
分散一様性は、考慮したすべてのモデルに対して頑健に起こる。
より深いモデルはバイアスを減らし、分布内および分布外データのばらつきを増加させる。
論文 参考訳（メタデータ） (2020-02-26T07:21:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。