論文の概要: Pretraining with random noise for uncertainty calibration

• arxiv url: http://arxiv.org/abs/2412.17411v2
• Date: Thu, 27 Mar 2025 12:34:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:50:37.733256
• Title: Pretraining with random noise for uncertainty calibration
• Title（参考訳）: 不確実性校正のためのランダムノイズによる事前学習
• Authors: Jeonghwan Cheon, Se-Bum Paik,
• Abstract要約: 多くのモデルは、誤った信頼のために幻覚(自信があるが不正確な反応)を示す。 発達神経科学にインスパイアされた本手法は,ランダムなノイズとラベルでネットワークを事前学習することでこの問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Uncertainty calibration is crucial for various machine learning applications, yet it remains challenging. Many models exhibit hallucinations - confident yet inaccurate responses - due to miscalibrated confidence. Here, we show that the common practice of random initialization in deep learning, often considered a standard technique, is an underlying cause of this miscalibration, leading to excessively high confidence in untrained networks. Our method, inspired by developmental neuroscience, addresses this issue by simply pretraining networks with random noise and labels, reducing overconfidence and bringing initial confidence levels closer to chance. This ensures optimal calibration, aligning confidence with accuracy during subsequent data training, without the need for additional pre- or post-processing. Pre-calibrated networks excel at identifying "unknown data," showing low confidence for out-of-distribution inputs, thereby resolving confidence miscalibration.
• Abstract（参考訳）: 不確かさの校正は、さまざまな機械学習アプリケーションに不可欠だが、それでも難しい。 多くのモデルは、誤った信頼のために幻覚(自信があるが不正確な反応)を示す。 ここでは、学習におけるランダム初期化の一般的な実践が、しばしば標準的な手法であると考えられ、この誤校正の根本原因であり、訓練されていないネットワークに過度に高い信頼をもたらすことを示す。 我々の手法は発達神経科学にインスパイアされ、ランダムなノイズやラベルでネットワークを事前訓練し、過剰な自信を減らし、初期信頼度をチャンスに近づけることでこの問題に対処する。 これにより最適なキャリブレーションが保証され、追加の事前処理や後処理を必要とせずに、その後のデータトレーニング中に信頼性と精度を一致させる。 事前校正されたネットワークは、"未知のデータ"の識別に優れ、アウト・オブ・ディストリビューション・インプットに対する信頼性が低いため、信頼性の誤校正が解消される。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty [0.2343856409260935]
  ニューラルネットワークからの確率的予測は、分類中の予測の不確実性の原因となる。 実際には、ほとんどのデータセットは非確率的ニューラルネットワークでトレーニングされています。 キャリブレーションアプローチのもっともらしい代替手段は、予測分布を直接モデル化するベイズニューラルネットワークを使用することである。
  論文  参考訳（メタデータ） (2022-09-29T07:22:19Z)
• Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
  一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T12:01:33Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。