論文の概要: Keeping Deep Learning Models in Check: A History-Based Approach to Mitigate Overfitting

• arxiv url: http://arxiv.org/abs/2401.10359v1
• Date: Thu, 18 Jan 2024 19:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 17:43:52.831837
• Title: Keeping Deep Learning Models in Check: A History-Based Approach to Mitigate Overfitting
• Title（参考訳）: ディープラーニングモデルをチェックする - 過剰フィッティングを軽減するための履歴ベースのアプローチ
• Authors: Hao Li, Gopi Krishnan Rajbahadur, Dayi Lin, Cor-Paul Bezemer, and Zhen Ming (Jack) Jiang
• Abstract要約: オーバーフィッティングは、ディープラーニングモデルを利用するソフトウェアシステムの品質、信頼性、信頼性に影響を与える。 トレーニング履歴に基づいてオーバーフィットの検出と防止を両立できる,シンプルかつ強力なアプローチを提案する。 提案手法はF1スコアが0.91であり, 現行の非侵襲的オーバーフィッティング検出法よりも5%高い値である。
• 参考スコア（独自算出の注目度）: 18.952459066212523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In software engineering, deep learning models are increasingly deployed for critical tasks such as bug detection and code review. However, overfitting remains a challenge that affects the quality, reliability, and trustworthiness of software systems that utilize deep learning models. Overfitting can be (1) prevented (e.g., using dropout or early stopping) or (2) detected in a trained model (e.g., using correlation-based approaches). Both overfitting detection and prevention approaches that are currently used have constraints (e.g., requiring modification of the model structure, and high computing resources). In this paper, we propose a simple, yet powerful approach that can both detect and prevent overfitting based on the training history (i.e., validation losses). Our approach first trains a time series classifier on training histories of overfit models. This classifier is then used to detect if a trained model is overfit. In addition, our trained classifier can be used to prevent overfitting by identifying the optimal point to stop a model's training. We evaluate our approach on its ability to identify and prevent overfitting in real-world samples. We compare our approach against correlation-based detection approaches and the most commonly used prevention approach (i.e., early stopping). Our approach achieves an F1 score of 0.91 which is at least 5% higher than the current best-performing non-intrusive overfitting detection approach. Furthermore, our approach can stop training to avoid overfitting at least 32% of the times earlier than early stopping and has the same or a better rate of returning the best model.
• Abstract（参考訳）: ソフトウェアエンジニアリングでは、バグ検出やコードレビューといった重要なタスクに対して、ディープラーニングモデルがますます多くデプロイされている。 しかし、過剰適合はディープラーニングモデルを利用するソフトウェアシステムの品質、信頼性、信頼性に影響を与える課題である。 オーバーフィッティングは(1)(例えば、ドロップアウトまたは早期停止)または(2)訓練されたモデル(例えば相関ベースのアプローチ)で検出される。 現在使用されている過剰な検出と防止のアプローチには制約がある(例えば、モデル構造の変更や高いコンピューティングリソース)。 本稿では,トレーニング履歴に基づくオーバーフィッティング(すなわち,検証損失)の検出と防止を両立可能な,シンプルかつ強力なアプローチを提案する。 提案手法は,まず,オーバーフィットモデルのトレーニング履歴に基づいて時系列分類器を訓練する。 この分類器は、トレーニングされたモデルが過剰かどうかを検出するために使用される。 さらに,モデルのトレーニングを停止するための最適なポイントを特定することで,オーバーフィッティングを防止するためにトレーニングした分類器を使用することができる。 本手法は,実世界のサンプルの過剰フィットを識別し防止する能力について評価する。 相関に基づく検出手法と最も一般的な予防手法(早期停止法)との比較を行った。 提案手法はF1スコアが0.91であり, 現行の非侵襲オーバーフィッティング検出法よりも5%以上高い。 さらに,本手法では,早期停止時よりも32%早い時間にオーバーフィットしないようにトレーニングを中止し,最善のモデルを返却する速度を向上できる。

関連論文リスト

• Source-Free Test-Time Adaptation For Online Surface-Defect Detection [29.69030283193086]
  テスト時間適応型表面欠陥検出手法を提案する。 推論中にトレーニング済みのモデルを新しいドメインやクラスに適応させる。 実験では、最先端の技術よりも優れています。
  論文  参考訳（メタデータ） (2024-08-18T14:24:05Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• StochCA: A Novel Approach for Exploiting Pretrained Models with Cross-Attention [2.66269503676104]
  トランスフォーマーアーキテクチャに特有なクロスアテンション(StochCA)と呼ばれる新しい微調整手法を提案する。 この方法はトランスフォーマーの自己保持機構を変更し、微調整中に事前学習したモデルからの知識を選択的に活用する。 両領域の最先端アプローチに対するStochCAの優位性について検討した。
  論文  参考訳（メタデータ） (2024-02-25T13:53:49Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Being Patient and Persistent: Optimizing An Early Stopping Strategy for Deep Learning in Profiled Attacks [2.7748013252318504]
  本稿では,学習中のモデルの最適状態を確実に認識する早期停止アルゴリズムを提案する。 ディープラーニングモデルが最適であるためには,永続性と忍耐という2つの条件を定式化する。
  論文  参考訳（メタデータ） (2021-11-29T09:54:45Z)
• Reinforcement Based Learning on Classification Task Could Yield Better Generalization and Adversarial Accuracy [0.0]
  画像分類タスクを用いて深層学習モデルを訓練する新しい手法を提案する。 強化学習におけるバニラポリシー勾配法に類似した報酬に基づく最適化関数を用いる。
  論文  参考訳（メタデータ） (2020-12-08T11:03:17Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。