論文の概要: Calibrated Chaos: Variance Between Runs of Neural Network Training is Harmless and Inevitable

• arxiv url: http://arxiv.org/abs/2304.01910v1
• Date: Tue, 4 Apr 2023 16:09:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 13:13:26.929766
• Title: Calibrated Chaos: Variance Between Runs of Neural Network Training is Harmless and Inevitable
• Title（参考訳）: Calibrated Chaos: ニューラルネットワークトレーニングの実行時間間のばらつきは無害で必然的
• Authors: Keller Jordan
• Abstract要約: CIFAR-10 と ImageNet の標準トレーニングでは,テストセットをサンプリングしたテスト分布に対して,その性能にはほとんどばらつきがないことを示す。 テストセットのばらつきは次の2つの意味で避けられないと我々は主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typical neural network trainings have substantial variance in test-set performance between repeated runs, impeding hyperparameter comparison and training reproducibility. We present the following results towards understanding this variation. (1) Despite having significant variance on their test-sets, we demonstrate that standard CIFAR-10 and ImageNet trainings have very little variance in their performance on the test-distributions from which those test-sets are sampled, suggesting that variance is less of a practical issue than previously thought. (2) We present a simplifying statistical assumption which closely approximates the structure of the test-set accuracy distribution. (3) We argue that test-set variance is inevitable in the following two senses. First, we show that variance is largely caused by high sensitivity of the training process to initial conditions, rather than by specific sources of randomness like the data order and augmentations. Second, we prove that variance is unavoidable given the observation that ensembles of trained networks are well-calibrated. (4) We conduct preliminary studies of distribution-shift, fine-tuning, data augmentation and learning rate through the lens of variance between runs.
• Abstract（参考訳）: 典型的なニューラルネットワークトレーニングは、繰り返し実行間のテストセットのパフォーマンスにかなりのばらつきがあり、ハイパーパラメータ比較とトレーニング再現性を妨げる。 この変異を理解するために, 以下の結果を示す。 1) CIFAR-10 と ImageNet の標準トレーニングは,テストセットに有意なばらつきがあるにもかかわらず,これらのテストセットをサンプリングしたテスト分布において,その性能にはほとんどばらつきがないことを示す。 2) テストセットの精度分布の構造をよく近似した, 簡易な統計的仮定を提案する。 (3) テストセットの分散は次の2つの意味で不可避である。 まず,データ順序や拡張といったランダム性の特定の源からではなく,初期条件に対するトレーニングプロセスの高感度化が原因であることを示す。 第二に、訓練されたネットワークのアンサンブルが十分に校正されているという観察から、分散は避けられないことを証明する。 (4)分散シフト,微調整,データ拡張,学習率の予備研究を,ラン間の分散のレンズを通して実施する。

関連論文リスト

• Robust Nonparametric Hypothesis Testing to Understand Variability in Training Neural Networks [5.8490454659691355]
  本稿では,閾値決定前のネットワークの出力に基づく分類モデル間の密接度の新しい尺度を提案する。 我々の測度は、頑健な仮説テストフレームワークに基づいており、訓練されたモデルから派生した他の量に適応することができる。
  論文  参考訳（メタデータ） (2023-10-01T01:44:35Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Models of Computational Profiles to Study the Likelihood of DNN Metamorphic Test Cases [9.997379778870695]
  ニューロン活性化のベクターとして「計算プロファイル」を導入する。 トレーニングやテストケースにおける計算プロファイルの確率分布は,何らかの方法で類似していることが示される。 対照的に、メタモルフィックテストケースは、トレーニング、テスト、ランダムノイズに関して、広範囲にある予測可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:57:44Z)
• Assessing Generalization of SGD via Disagreement [71.17788927037081]
  実験により、同一のトレーニングセット上で同じアーキテクチャをトレーニングするだけで、異なるグラディエント・ディフレクション(SGD)を実行することで、ディープネットワークのテストエラーを推定できることを実証的に示す。 この発見は、ラベルのないテストデータを使ってテストエラーを直接予測する単純な経験的尺度を提供するだけでなく、一般化とキャリブレーションの間に新たな概念的接続を確立する。
  論文  参考訳（メタデータ） (2021-06-25T17:53:09Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Bias-Aware Loss for Training Image and Speech Quality Prediction Models from Multiple Datasets [13.132388683797503]
  学習中の各データセットのバイアスを線形関数で推定するバイアス認識損失関数を提案する。 合成および主観的画像および音声品質データセットにおける品質予測モデルの訓練と検証により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-20T19:20:11Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。