論文の概要: Can Calibration Improve Sample Prioritization?
- arxiv url: http://arxiv.org/abs/2210.06592v1
- Date: Wed, 12 Oct 2022 21:11:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 16:53:15.564624
- Title: Can Calibration Improve Sample Prioritization?
- Title（参考訳）: キャリブレーションは標本優先性を改善するか?
- Authors: Ganesh Tata, Gautham Krishna Gudur, Gopinath Chennupati, Mohammad
Emtiyaz Khan
- Abstract要約: トレーニング中のサンプルのより優れたサブセットを選択する際に,一般的な校正手法が与える影響について検討した。
キャリブレーションによってサブセットの品質が向上し、エポックあたりのサンプル数が減少し、それによってトレーニングプロセス全体のスピードアップが可能であることを観察する。
- 参考スコア（独自算出の注目度）: 15.17599622490369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Calibration can reduce overconfident predictions of deep neural networks, but
can calibration also accelerate training by selecting the right samples? In
this paper, we show that it can. We study the effect of popular calibration
techniques in selecting better subsets of samples during training (also called
sample prioritization) and observe that calibration can improve the quality of
subsets, reduce the number of examples per epoch (by at least 70%), and can
thereby speed up the overall training process. We further study the effect of
using calibrated pre-trained models coupled with calibration during training to
guide sample prioritization, which again seems to improve the quality of
samples selected.
- Abstract（参考訳）: キャリブレーションはディープニューラルネットワークの過信予測を減らすことができるが、適切なサンプルを選択することでトレーニングを加速することもできる。
本稿では,それが可能であることを示す。
トレーニング中のサンプルのより良いサブセット選択(サンプル優先順位付けとも呼ばれる)における一般的なキャリブレーション手法の効果について検討し、キャリブレーションによってサブセットの品質が向上し、エポック毎のサンプル数(少なくとも70%)が減少し、トレーニングプロセス全体のスピードアップが可能であることを観察する。
さらに,トレーニング中に校正と校正を併用した校正事前訓練モデルを用いて,サンプルの優先順位付けを誘導する効果について検討した。
関連論文リスト
- Calibrating Where It Matters: Constrained Temperature Scaling [0.0]
臨床意思決定者は、キャリブレーションされた分類器を使用して、自身のコスト関数から期待されるコストを最小限にすることができる。
皮膚内視鏡画像の分類を訓練したコンブネットを用いて,キャリブレーションの改善を実演した。
論文 参考訳（メタデータ） (2024-06-17T12:14:31Z) - C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion [54.81141583427542]
深層学習において,ラベル付きデータを必要としない微調整手法としてテスト時間適応が注目されている。
本稿では,CLIPの固有特性を利用したテスト時プロンプトチューニング時の校正について検討する。
そこで本研究では,C-TPT(Calibrated Test-time Prompt Tuning)という,キャリブレーションの強化によるテスト時間中のプロンプトの最適化手法を提案する。
論文 参考訳（メタデータ） (2024-03-21T04:08:29Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - Post-hoc Uncertainty Calibration for Domain Drift Scenarios [46.88826364244423]
既存のポストホックキャリブレーション手法は、ドメインシフト下での過信予測を高い精度で得ることを示した。
ポストホックキャリブレーションステップを実行する前に、検証セットのサンプルに摂動を適用する簡単な戦略を紹介します。
論文 参考訳（メタデータ） (2020-12-20T18:21:13Z) - Diverse Ensembles Improve Calibration [14.678791405731486]
アンサンブルメンバーごとに異なるデータ拡張を用いてキャリブレーションを改善するための簡単な手法を提案する。
さらに,テストとトレーニングの分布が同じである場合のキャリブレーションを改善するために,拡張されていないインプットと拡張されたインプットを混合するというアイデアも活用する。
論文 参考訳（メタデータ） (2020-07-08T15:48:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Multi-Class Uncertainty Calibration via Mutual Information
Maximization-based Binning [8.780958735684958]
ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。
近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。
類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
論文 参考訳（メタデータ） (2020-06-23T15:31:59Z) - Robust Sampling in Deep Learning [62.997667081978825]
ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。
分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。
トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
論文 参考訳（メタデータ） (2020-06-04T09:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。