論文の概要: OUI Need to Talk About Weight Decay: A New Perspective on Overfitting Detection

• arxiv url: http://arxiv.org/abs/2504.17160v1
• Date: Thu, 24 Apr 2025 00:41:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.20599
• Title: OUI Need to Talk About Weight Decay: A New Perspective on Overfitting Detection
• Title（参考訳）: OUIが重量減少について語る - オーバーフィッティング検出の新しい視点
• Authors: Alberto Fernández-Hernández, Jose I. Mestre, Manuel F. Dolz, Jose Duato, Enrique S. Quintana-Ortí,
• Abstract要約: Overfitting-Underfitting Indicator (OUI)は、ディープニューラルネットワーク(DNN)のトレーニングダイナミクスを監視する新しいツールである。 OUIは、モデルがトレーニング中に検証データを必要とせずに過度に適合しているか、過度に適合しているかを示す。
• 参考スコア（独自算出の注目度）: 0.5242869847419834
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce the Overfitting-Underfitting Indicator (OUI), a novel tool for monitoring the training dynamics of Deep Neural Networks (DNNs) and identifying optimal regularization hyperparameters. Specifically, we validate that OUI can effectively guide the selection of the Weight Decay (WD) hyperparameter by indicating whether a model is overfitting or underfitting during training without requiring validation data. Through experiments on DenseNet-BC-100 with CIFAR- 100, EfficientNet-B0 with TinyImageNet and ResNet-34 with ImageNet-1K, we show that maintaining OUI within a prescribed interval correlates strongly with improved generalization and validation scores. Notably, OUI converges significantly faster than traditional metrics such as loss or accuracy, enabling practitioners to identify optimal WD (hyperparameter) values within the early stages of training. By leveraging OUI as a reliable indicator, we can determine early in training whether the chosen WD value leads the model to underfit the training data, overfit, or strike a well-balanced trade-off that maximizes validation scores. This enables more precise WD tuning for optimal performance on the tested datasets and DNNs. All code for reproducing these experiments is available at https://github.com/AlbertoFdezHdez/OUI.
• Abstract（参考訳）: 我々は、Deep Neural Networks(DNN)のトレーニングダイナミクスを監視し、最適な正規化ハイパーパラメータを特定するための新しいツールであるOUI(Overfitting-Underfitting Indicator)を紹介する。 具体的には、モデルがトレーニング中に過度に適合しているか、あるいは過度に適合しているかを検証データを必要とせずに示すことで、OUIが、重量減少度(WD)ハイパーパラメータの選択を効果的にガイドできることを検証する。 The experiment on DenseNet-BC-100 with CIFAR-100, EfficientNet-B0 with TinyImageNet and ResNet-34 with ImageNet-1K, we showed that OUI maintain in a prescribed interval, we showed that stronglyreled to improve generalization and validation scores。 特に、OUIは、損失や精度といった従来のメトリクスよりもはるかに早く収束し、トレーニングの初期段階で最適なWD(ハイパーパラメータ)値を特定することができる。 OUIを信頼性指標として活用することにより、選択したWD値がトレーニングデータに不適合するかどうかを早期に判断し、検証スコアを最大化するバランスのとれたトレードオフを打つことができる。 これにより、テストされたデータセットとDNN上での最適なパフォーマンスのためのより正確なWDチューニングが可能になる。 これらの実験を再現するためのコードは、https://github.com/AlbertoFdezHdez/OUI.comで公開されている。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
  ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。 ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
  論文  参考訳（メタデータ） (2023-06-16T21:53:16Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• IADA: Iterative Adversarial Data Augmentation Using Formal Verification and Expert Guidance [1.599072005190786]
  本稿では,ニューラルネットワークモデルを学習するための反復的逆データ拡張フレームワークを提案する。 提案するフレームワークは,人工的な2Dデータセット,MNISTデータセット,人間の動作データセットに適用される。 学習モデルのロバスト性や精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-08-16T03:05:53Z)
• Densely Deformable Efficient Salient Object Detection Network [24.469522151877847]
  本稿では,変形可能な畳み込みの最適背景/地上分離能力に触発されて,Densely Deformable Network (DDNet) に採用する。 密に変形可能な畳み込みから得られる塩分領域は、転置畳み込みを用いてさらに洗練され、塩分マップを最適に生成する。 その結果、現在のモデルでは一般化ポテンシャルが限られており、この方向へのさらなる研究が求められている。
  論文  参考訳（メタデータ） (2021-02-12T09:17:38Z)
• CPT: Efficient Deep Neural Network Training via Cyclic Precision [24.218905131408288]
  DNNの精度は、DNNトレーニング中の学習率と同じような効果がある可能性があると推測する。 本稿では,2つの境界値の精度を変化させるサイクル精度訓練(CPT)を提案する。
  論文  参考訳（メタデータ） (2021-01-25T02:56:18Z)
• Increasing Trustworthiness of Deep Neural Networks via Accuracy Monitoring [20.456742449675904]
  ディープニューラルネットワーク(DNN)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットによって大きく異なる可能性がある。 これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。 本稿では、DNNのソフトマックス確率出力のみを入力とするニューラルネットワークに基づく精度監視モデルを提案する。
  論文  参考訳（メタデータ） (2020-07-03T03:09:36Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。