論文の概要: Scaling of Class-wise Training Losses for Post-hoc Calibration

• arxiv url: http://arxiv.org/abs/2306.10989v1
• Date: Mon, 19 Jun 2023 14:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 17:19:05.366499
• Title: Scaling of Class-wise Training Losses for Post-hoc Calibration
• Title（参考訳）: ポストホックキャリブレーションにおけるクラス別トレーニング損失のスケーリング
• Authors: Seungjin Jung, Seungmo Seo, Yonghyun Jeong, Jongwon Choi
• Abstract要約: そこで本研究では,クラスレベルの学習損失を同期させるキャリブレーション手法を提案する。 複数のクラスワイドスケーリング因子を用いて、クラスワイドトレーニング損失の分散を軽減するために、新しいトレーニング損失を設計する。 種々のポストホックキャリブレーション手法を用いて,提案手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 6.0632746602205865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The class-wise training losses often diverge as a result of the various levels of intra-class and inter-class appearance variation, and we find that the diverging class-wise training losses cause the uncalibrated prediction with its reliability. To resolve the issue, we propose a new calibration method to synchronize the class-wise training losses. We design a new training loss to alleviate the variance of class-wise training losses by using multiple class-wise scaling factors. Since our framework can compensate the training losses of overfitted classes with those of under-fitted classes, the integrated training loss is preserved, preventing the performance drop even after the model calibration. Furthermore, our method can be easily employed in the post-hoc calibration methods, allowing us to use the pre-trained model as an initial model and reduce the additional computation for model calibration. We validate the proposed framework by employing it in the various post-hoc calibration methods, which generally improves calibration performance while preserving accuracy, and discover through the investigation that our approach performs well with unbalanced datasets and untuned hyperparameters.
• Abstract（参考訳）: クラス毎のトレーニング損失は,クラス内およびクラス間におけるさまざまな外観変動の結果,しばしばばらつきが生じ,クラス毎のトレーニング損失のばらつきが,その信頼性を伴わない予測を引き起こすことが判明した。 そこで本研究では,クラスレベルの学習損失を同期させるキャリブレーション手法を提案する。 複数のクラスワイドスケーリング因子を用いて、クラスワイドトレーニング損失の分散を軽減するために、新しいトレーニング損失を設計する。 本フレームワークは,過適合クラスと不適合クラスのトレーニング損失を補償できるため,統合的トレーニング損失を保存でき,モデル校正後の性能低下を防止できる。 さらに,本手法はポストホックキャリブレーション法に容易に適用でき,事前学習したモデルを初期モデルとして使用でき,モデルキャリブレーションのための追加計算を削減できる。 提案手法は, 精度を保ちながらキャリブレーション性能を向上する種々のポストホック校正手法を用いて検証し, 提案手法が不均衡なデータセットや未調整ハイパーパラメータと良好に動作することを示す。

関連論文リスト

• Scaling Laws for Precision [73.24325358259753]
  トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。 推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。 トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T00:10:10Z)
• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
  本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。 57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
  論文  参考訳（メタデータ） (2024-03-18T17:04:33Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Multi-Head Multi-Loss Model Calibration [13.841172927454204]
  我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T09:32:32Z)
• Bag of Tricks for In-Distribution Calibration of Pretrained Transformers [8.876196316390493]
  プレトレーニング言語モデル(PLM)の信頼性校正に関する実証的研究について述べる。 トレーニングセットに過度に適合したアンサンブルモデルは,サブパーキャリブレーション性能を示す。 校正手法を組み合わせた校正PLM(CALL)を提案する。
  論文  参考訳（メタデータ） (2023-02-13T21:11:52Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。