論文の概要: Rethinking Early Stopping: Refine, Then Calibrate

• arxiv url: http://arxiv.org/abs/2501.19195v1
• Date: Fri, 31 Jan 2025 15:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:02.935468
• Title: Rethinking Early Stopping: Refine, Then Calibrate
• Title（参考訳）: 早期停止を再考する:リファイン、そしてキャリブレート
• Authors: Eugène Berta, David Holzmüller, Michael I. Jordan, Francis Bach,
• Abstract要約: 校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
• 参考スコア（独自算出の注目度）: 49.966899634962374
• License:
• Abstract: Machine learning classifiers often produce probabilistic predictions that are critical for accurate and interpretable decision-making in various domains. The quality of these predictions is generally evaluated with proper losses like cross-entropy, which decompose into two components: calibration error assesses general under/overconfidence, while refinement error measures the ability to distinguish different classes. In this paper, we provide theoretical and empirical evidence that these two errors are not minimized simultaneously during training. Selecting the best training epoch based on validation loss thus leads to a compromise point that is suboptimal for both calibration error and, most importantly, refinement error. To address this, we introduce a new metric for early stopping and hyperparameter tuning that makes it possible to minimize refinement error during training. The calibration error is minimized after training, using standard techniques. Our method integrates seamlessly with any architecture and consistently improves performance across diverse classification tasks.
• Abstract（参考訳）: 機械学習分類器は、様々な領域における正確かつ解釈可能な意思決定に不可欠な確率論的予測を生成することが多い。 これらの予測の品質は、一般的にクロスエントロピーのような適切な損失で評価され、キャリブレーション誤差は一般的な過信度を評価する一方、洗練誤差は異なるクラスを区別する能力を測定する。 本稿では,これらの2つの誤りが訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。 検証損失に基づいて最高のトレーニングエポックを選択すると、キャリブレーションエラーと最も重要な改善エラーの両方に最適である妥協点が導かれる。 そこで本研究では,早期停止とハイパーパラメータチューニングのための新しい指標を提案する。 校正誤差は標準技術を用いて訓練後に最小限に抑えられる。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。

関連論文リスト

• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Scaling of Class-wise Training Losses for Post-hoc Calibration [6.0632746602205865]
  そこで本研究では,クラスレベルの学習損失を同期させるキャリブレーション手法を提案する。 複数のクラスワイドスケーリング因子を用いて、クラスワイドトレーニング損失の分散を軽減するために、新しいトレーニング損失を設計する。 種々のポストホックキャリブレーション手法を用いて,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-06-19T14:59:37Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Multi-Head Multi-Loss Model Calibration [13.841172927454204]
  我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T09:32:32Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Class-wise and reduced calibration methods [0.0]
  キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。 第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。 この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2022-10-07T17:13:17Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。