論文の概要: On the Variance of Neural Network Training with respect to Test Sets and Distributions

• arxiv url: http://arxiv.org/abs/2304.01910v4
• Date: Mon, 10 Jun 2024 02:25:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 05:58:24.466138
• Title: On the Variance of Neural Network Training with respect to Test Sets and Distributions
• Title（参考訳）: テストセットと分布に関するニューラルネットワーク学習のばらつきについて
• Authors: Keller Jordan,
• Abstract要約: 標準のCIFAR-10とImageNetのトレーニングは、基礎となるテスト配信の性能にほとんどばらつきがないことを示す。 テストセットにおけるニューラルネットワークトレーニングのばらつきは,Jiangらによって発見されたクラス校正特性のダウンストリームの結果であることを示す。 本分析では, 分類ケースのばらつきを正確に予測する簡単な式を導出する。
• 参考スコア（独自算出の注目度）: 1.994307489466967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typical neural network trainings have substantial variance in test-set performance between repeated runs, impeding hyperparameter comparison and training reproducibility. In this work we present the following results towards understanding this variation. (1) Despite having significant variance on their test-sets, we demonstrate that standard CIFAR-10 and ImageNet trainings have little variance in performance on the underlying test-distributions from which their test-sets are sampled. (2) We show that these trainings make approximately independent errors on their test-sets. That is, the event that a trained network makes an error on one particular example does not affect its chances of making errors on other examples, relative to their average rates over repeated runs of training with the same hyperparameters. (3) We prove that the variance of neural network trainings on their test-sets is a downstream consequence of the class-calibration property discovered by Jiang et al. (2021). Our analysis yields a simple formula which accurately predicts variance for the binary classification case. (4) We conduct preliminary studies of data augmentation, learning rate, finetuning instability and distribution-shift through the lens of variance between runs.
• Abstract（参考訳）: 典型的なニューラルネットワークトレーニングは、繰り返し実行間のテストセットのパフォーマンスにかなりのばらつきがあり、ハイパーパラメータ比較とトレーニング再現性を妨げる。 本研究では, この変化を理解するために, 以下の結果を示す。 1) CIFAR-10 と ImageNet の標準トレーニングは,テストセットに有意なばらつきがあるにもかかわらず,テストセットをサンプリングする基礎となるテスト分布に対して,性能のばらつきがほとんどないことを実証した。 2)これらのトレーニングは,テストセット上でほぼ独立にエラーを発生させることを示す。 つまり、トレーニングされたネットワークが特定の例でエラーを発生させることは、同じハイパーパラメータを持つトレーニングを繰り返し実行した場合の平均レートと比較して、他の例でエラーを発生させる可能性に影響しない。 (3) テストセットにおけるニューラルネットワークトレーニングのばらつきは,Jiang et al (2021) が発見したクラス校正特性の下流結果であることを示す。 解析により,二項分類の場合のばらつきを正確に予測する簡単な式が得られた。 (4)データ増大,学習速度,微調整不安定性,分布シフトの予備的研究を,走行間のばらつきのレンズを通して行った。

関連論文リスト

• Robust Nonparametric Hypothesis Testing to Understand Variability in Training Neural Networks [5.8490454659691355]
  本稿では,閾値決定前のネットワークの出力に基づく分類モデル間の密接度の新しい尺度を提案する。 我々の測度は、頑健な仮説テストフレームワークに基づいており、訓練されたモデルから派生した他の量に適応することができる。
  論文  参考訳（メタデータ） (2023-10-01T01:44:35Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Models of Computational Profiles to Study the Likelihood of DNN Metamorphic Test Cases [9.997379778870695]
  ニューロン活性化のベクターとして「計算プロファイル」を導入する。 トレーニングやテストケースにおける計算プロファイルの確率分布は,何らかの方法で類似していることが示される。 対照的に、メタモルフィックテストケースは、トレーニング、テスト、ランダムノイズに関して、広範囲にある予測可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:57:44Z)
• Assessing Generalization of SGD via Disagreement [71.17788927037081]
  実験により、同一のトレーニングセット上で同じアーキテクチャをトレーニングするだけで、異なるグラディエント・ディフレクション(SGD)を実行することで、ディープネットワークのテストエラーを推定できることを実証的に示す。 この発見は、ラベルのないテストデータを使ってテストエラーを直接予測する単純な経験的尺度を提供するだけでなく、一般化とキャリブレーションの間に新たな概念的接続を確立する。
  論文  参考訳（メタデータ） (2021-06-25T17:53:09Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Bias-Aware Loss for Training Image and Speech Quality Prediction Models from Multiple Datasets [13.132388683797503]
  学習中の各データセットのバイアスを線形関数で推定するバイアス認識損失関数を提案する。 合成および主観的画像および音声品質データセットにおける品質予測モデルの訓練と検証により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-20T19:20:11Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。