論文の概要: Pretraining with random noise for uncertainty calibration

• arxiv url: http://arxiv.org/abs/2412.17411v1
• Date: Mon, 23 Dec 2024 09:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:54.818406
• Title: Pretraining with random noise for uncertainty calibration
• Title（参考訳）: 不確実性校正のためのランダムノイズによる事前学習
• Authors: Jeonghwan Cheon, Se-Bum Paik,
• Abstract要約: 本研究では,発達神経科学に触発された事前学習法により,不確実性の校正が効果的に達成できることを実証する。 ランダムにトレーニングされていないネットワークは、誤って高い信頼性を示す傾向があるが、ランダムノイズによる事前トレーニングは、これらのネットワークを効果的に校正する。 その結果、ランダムノイズで事前訓練されたネットワークは最適なキャリブレーションを示し、その信頼性はその後のデータトレーニングを通して正確さと密接に一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Uncertainty calibration, the process of aligning confidence with accuracy, is a hallmark of human intelligence. However, most machine learning models struggle to achieve this alignment, particularly when the training dataset is small relative to the network's capacity. Here, we demonstrate that uncertainty calibration can be effectively achieved through a pretraining method inspired by developmental neuroscience. Specifically, training with random noise before data training allows neural networks to calibrate their uncertainty, ensuring that confidence levels are aligned with actual accuracy. We show that randomly initialized, untrained networks tend to exhibit erroneously high confidence, but pretraining with random noise effectively calibrates these networks, bringing their confidence down to chance levels across input spaces. As a result, networks pretrained with random noise exhibit optimal calibration, with confidence closely aligned with accuracy throughout subsequent data training. These pre-calibrated networks also perform better at identifying "unknown data" by exhibiting lower confidence for out-of-distribution samples. Our findings provide a fundamental solution for uncertainty calibration in both in-distribution and out-of-distribution contexts.
• Abstract（参考訳）: 不確実性のキャリブレーション(不確実性校正、不確実性校正)は、人間の知能の指標である。 しかしながら、ほとんどの機械学習モデルは、特にトレーニングデータセットがネットワークのキャパシティと比較して小さい場合、このアライメントを達成するのに苦労している。 本稿では,発達神経科学に触発された事前学習法により,不確実性の校正が効果的に達成できることを実証する。 具体的には、データトレーニングの前にランダムノイズでトレーニングすることで、ニューラルネットワークが不確実性を校正し、信頼性レベルが実際の精度に一致していることを保証する。 ランダムに初期化され、訓練されていないネットワークは、誤って高い信頼性を示す傾向にあるが、ランダムノイズによる事前学習は、これらのネットワークを効果的に校正し、入力空間全体の確率レベルまで信頼性を低下させる。 その結果、ランダムノイズで事前訓練されたネットワークは最適なキャリブレーションを示し、その信頼性はその後のデータトレーニングを通して正確さと密接に一致している。 これらの事前校正されたネットワークは、アウト・オブ・ディストリビューション・サンプルに対する信頼性を低くすることで、"未知のデータ"を識別する能力も向上する。 本研究は,分布内および分布外の両方における不確実性校正の基本的な解決策を提供する。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty [0.2343856409260935]
  ニューラルネットワークからの確率的予測は、分類中の予測の不確実性の原因となる。 実際には、ほとんどのデータセットは非確率的ニューラルネットワークでトレーニングされています。 キャリブレーションアプローチのもっともらしい代替手段は、予測分布を直接モデル化するベイズニューラルネットワークを使用することである。
  論文  参考訳（メタデータ） (2022-09-29T07:22:19Z)
• Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
  一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T12:01:33Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。