論文の概要: Distributional Generalization: A New Kind of Generalization

• arxiv url: http://arxiv.org/abs/2009.08092v2
• Date: Thu, 15 Oct 2020 02:41:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 07:59:47.393129
• Title: Distributional Generalization: A New Kind of Generalization
• Title（参考訳）: 分布的一般化:新しい種類の一般化
• Authors: Preetum Nakkiran, Yamini Bansal
• Abstract要約: 分散一般化という新しい概念を導入する。 列車とテスト時の分類器の出力は、平均誤差だけをクローズするのとは対照的に、*as distributions*である、と大まかに述べています。 機械学習において、これらの予想の実証的な証拠を様々な領域にわたって与える。
• 参考スコア（独自算出の注目度）: 10.555325639706071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new notion of generalization -- Distributional Generalization -- which roughly states that outputs of a classifier at train and test time are close *as distributions*, as opposed to close in just their average error. For example, if we mislabel 30% of dogs as cats in the train set of CIFAR-10, then a ResNet trained to interpolation will in fact mislabel roughly 30% of dogs as cats on the *test set* as well, while leaving other classes unaffected. This behavior is not captured by classical generalization, which would only consider the average error and not the distribution of errors over the input domain. Our formal conjectures, which are much more general than this example, characterize the form of distributional generalization that can be expected in terms of problem parameters: model architecture, training procedure, number of samples, and data distribution. We give empirical evidence for these conjectures across a variety of domains in machine learning, including neural networks, kernel machines, and decision trees. Our results thus advance our empirical understanding of interpolating classifiers.
• Abstract（参考訳）: これは、列車とテスト時間における分類器の出力が、平均誤差だけをクローズするのではなく、*as distributions*である、と大まかに述べています。 例えば、cifar-10の列車セットで、犬の30%を猫と誤記した場合、補間訓練された再ネットは、実際には*テストセット上では、およそ30%を猫と誤記し、他のクラスは影響を受けない。 この振る舞いは古典的な一般化では捉えられず、平均エラーのみを考慮し、入力ドメイン上のエラーの分布を考慮しない。 我々の公式な予想は、この例よりもはるかに一般的なものであり、モデルアーキテクチャ、トレーニング手順、サンプルの数、データ分布といった問題パラメータの観点で期待できる分布一般化の形式を特徴付ける。 ニューラルネットワーク、カーネルマシン、決定木など、機械学習のさまざまな領域におけるこれらの予想に関する実証的な証拠を提供する。 その結果,補間分類器に対する経験的理解が促進される。

関連論文リスト

• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• Do highly over-parameterized neural networks generalize since bad solutions are rare? [0.0]
  学習のための経験的リスク最小化(ERM)は、トレーニングエラーをゼロにする。 ある条件下では、エプシロンよりも大きい真の誤差を持つ「悪い」大域最小値の分数は、訓練データ n の個数で指数関数的にゼロになる。
  論文  参考訳（メタデータ） (2022-11-07T14:02:07Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Robust Modeling of Unknown Dynamical Systems via Ensemble Averaged Learning [2.523610673302386]
  最近の研究は、ディープニューラルネットワーク(DNN)による未知のシステムの進化に関するデータ駆動学習に焦点を当てている。 本稿では,一般化誤差の分散を低減する計算手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T15:17:53Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Shift Happens: Adjusting Classifiers [2.8682942808330703]
  ブレアスコアやログロス(クロスエントロピー)のような適切なスコアリングルールによって測定される期待損失を最小限に抑えることは、確率的分類器を訓練する際の共通の目的である。 本稿では,全ての予測を平均予測とクラス分布に等化させる手法を提案する。 実際に、クラス分布が概ね知られている場合、シフトの量やクラス分布が知られている精度に応じて、損失が減少することがしばしばあることを実験によって実証した。
  論文  参考訳（メタデータ） (2021-11-03T21:27:27Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。