論文の概要: A Note on "Assessing Generalization of SGD via Disagreement"

• arxiv url: http://arxiv.org/abs/2202.01851v1
• Date: Thu, 3 Feb 2022 21:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 14:36:46.354702
• Title: A Note on "Assessing Generalization of SGD via Disagreement"
• Title（参考訳）: 診断によるSGDの一般化の評価」についての一考察
• Authors: Andreas Kirsch, Yarin Gal
• Abstract要約: 本手法は, 分布シフト時に深いアンサンブルのキャリブレーションが劣化するため, 非現実的である可能性が示唆された。 提案された校正基準は、ニクソンらによって導入された2つの指標「ACE」と「SCE」と等価である。
• 参考スコア（独自算出の注目度）: 38.59619544501593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Jiang et al. (2021) give empirical evidence that the average test error of deep neural networks can be estimated via the prediction disagreement of two separately trained networks. They also provide a theoretical explanation that this 'Generalization Disagreement Equality' follows from the well-calibrated nature of deep ensembles under the notion of a proposed 'class-aggregated calibration'. In this paper we show that the approach suggested might be impractical because a deep ensemble's calibration deteriorates under distribution shift, which is exactly when the coupling of test error and disagreement would be of practical value. We present both theoretical and experimental evidence, re-deriving the theoretical statements using a simple Bayesian perspective and show them to be straightforward and more generic: they apply to any discriminative model -- not only ensembles whose members output one-hot class predictions. The proposed calibration metrics are also equivalent to two metrics introduced by Nixon et al. (2019): 'ACE' and 'SCE'.
• Abstract（参考訳）: Jiang et al. (2021) は、2つの個別に訓練されたネットワークの予測不一致により、ディープニューラルネットワークの平均テスト誤差を推定できるという実証的な証拠を与える。 また、この「一般化不一致等」は、提案された「クラス集約校正」という概念の下での深層アンサンブルのよく説明された性質から来ているという理論的説明もある。 本稿では, 深層アンサンブルのキャリブレーションが分散シフトによって劣化するため, 実験誤差と不一致の結合が実用的価値となる場合に, 提案手法が実用的でない可能性があることを示す。 理論的な証拠と実験的な証拠の両方を示し、単純なベイズ的視点を用いて理論的なステートメントを再導出し、それらを単純でより一般的であることを示す。 提案された校正基準は、Nixon et al. (2019) によって導入された「ACE」と「SCE」の2つの指標と等価である。

関連論文リスト

• MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
  モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。 予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
  論文  参考訳（メタデータ） (2024-05-29T10:45:06Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
  Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。 条件付き推定は必然的に既約誤差を生じさせることを示す。 経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
  論文  参考訳（メタデータ） (2022-06-21T17:46:35Z)
• Assessing Generalization of SGD via Disagreement [71.17788927037081]
  実験により、同一のトレーニングセット上で同じアーキテクチャをトレーニングするだけで、異なるグラディエント・ディフレクション(SGD)を実行することで、ディープネットワークのテストエラーを推定できることを実証的に示す。 この発見は、ラベルのないテストデータを使ってテストエラーを直接予測する単純な経験的尺度を提供するだけでなく、一般化とキャリブレーションの間に新たな概念的接続を確立する。
  論文  参考訳（メタデータ） (2021-06-25T17:53:09Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Should Ensemble Members Be Calibrated? [16.331175260764]
  現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。 ディープラーニングアプローチは、多数のモデルパラメータを利用する。 本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
  論文  参考訳（メタデータ） (2021-01-13T23:59:00Z)
• Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
  分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。 対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
  論文  参考訳（メタデータ） (2020-02-11T04:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。