論文の概要: Learning Sample Difficulty from Pre-trained Models for Reliable Prediction

• arxiv url: http://arxiv.org/abs/2304.10127v2
• Date: Mon, 30 Oct 2023 13:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:07:39.929919
• Title: Learning Sample Difficulty from Pre-trained Models for Reliable Prediction
• Title（参考訳）: 信頼度予測のための事前学習モデルからのサンプル難読化
• Authors: Peng Cui, Dan Zhang, Zhijie Deng, Yinpeng Dong, Jun Zhu
• Abstract要約: 本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
• 参考スコア（独自算出の注目度）: 55.77136037458667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-trained models have achieved remarkable success in many applications, but how to leverage them to improve the prediction reliability of downstream models is undesirably under-explored. Moreover, modern neural networks have been found to be poorly calibrated and make overconfident predictions regardless of inherent sample difficulty and data uncertainty. To address this issue, we propose to utilize large-scale pre-trained models to guide downstream model training with sample difficulty-aware entropy regularization. Pre-trained models that have been exposed to large-scale datasets and do not overfit the downstream training classes enable us to measure each training sample's difficulty via feature-space Gaussian modeling and relative Mahalanobis distance computation. Importantly, by adaptively penalizing overconfident prediction based on the sample difficulty, we simultaneously improve accuracy and uncertainty calibration across challenging benchmarks (e.g., +0.55% ACC and -3.7% ECE on ImageNet1k using ResNet34), consistently surpassing competitive baselines for reliable prediction. The improved uncertainty estimate further improves selective classification (abstaining from erroneous predictions) and out-of-distribution detection.
• Abstract（参考訳）: 大規模事前学習モデルは多くのアプリケーションで顕著な成功を収めているが、下流モデルの予測信頼性を改善するためにそれらを活用する方法は望ましくないほど過小評価されている。 さらに、現代のニューラルネットワークは校正が不十分で、固有のサンプルの難しさやデータの不確実性に関わらず、自信過剰な予測がなされている。 そこで本研究では,大規模な事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 大規模データセットに露出し、下流のトレーニングクラスに過度に適合しない事前学習モデルでは、特徴空間ガウスモデルと相対マハラノビス距離計算により、各トレーニングサンプルの難易度を測定することができる。 重要なことは、サンプルの難易度に基づいて過信予測を適応的にペナルティ化することで、挑戦するベンチマーク(例えば、ResNet34を用いてImageNet1k上で+0.55% ACCと-3.7% ECE)の精度と不確実性の校正を同時に改善し、信頼性のある予測のための競争基準を一貫して上回っていることである。 改良された不確実性推定は、選択的分類(誤った予測を含まない)と分布外検出をさらに改善する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning [25.982037837953268]
  ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。 そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T05:34:58Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Data Uncertainty without Prediction Models [0.8223798883838329]
  予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。 距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
  論文  参考訳（メタデータ） (2022-04-25T13:26:06Z)
• Uncertainty-Aware Time-to-Event Prediction using Deep Kernel Accelerated Failure Time Models [11.171712535005357]
  本稿では,時間-時間予測タスクのためのDeep Kernel Accelerated Failure Timeモデルを提案する。 我々のモデルは、2つの実世界のデータセットの実験において、繰り返しニューラルネットワークに基づくベースラインよりも良い点推定性能を示す。
  論文  参考訳（メタデータ） (2021-07-26T14:55:02Z)
• Learning Prediction Intervals for Model Performance [1.433758865948252]
  モデル性能の予測間隔を計算する手法を提案する。 我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-12-15T21:32:03Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。