論文の概要: Calibrated Uncertainty Sampling for Active Learning
- arxiv url: http://arxiv.org/abs/2510.03162v1
- Date: Fri, 03 Oct 2025 16:33:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.490725
- Title: Calibrated Uncertainty Sampling for Active Learning
- Title(参考訳): アクティブラーニングのための校正不確かさサンプリング
- Authors: Ha Manh Bui, Iliana Maifeld-Carucci, Anqi Liu,
- Abstract要約: プールベースのアクティブラーニング(AL)において最もポピュラーな獲得関数(AF)の1つは、モデルの不確実性によるクエリである。
ディープニューラルネットワーク(DNN)は、DNNのモデルの不確実性は通常、未調整であるため、さらに悪化させる。
キャリブレーション誤差とクエリサンプルを高いキャリブレーション誤差で推定し,新しいAFを提案する。
- 参考スコア(独自算出の注目度): 16.890540746562774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of actively learning a classifier with a low calibration error. One of the most popular Acquisition Functions (AFs) in pool-based Active Learning (AL) is querying by the model's uncertainty. However, we recognize that an uncalibrated uncertainty model on the unlabeled pool may significantly affect the AF effectiveness, leading to sub-optimal generalization and high calibration error on unseen data. Deep Neural Networks (DNNs) make it even worse as the model uncertainty from DNN is usually uncalibrated. Therefore, we propose a new AF by estimating calibration errors and query samples with the highest calibration error before leveraging DNN uncertainty. Specifically, we utilize a kernel calibration error estimator under the covariate shift and formally show that AL with this AF eventually leads to a bounded calibration error on the unlabeled pool and unseen test data. Empirically, our proposed method surpasses other AF baselines by having a lower calibration and generalization error across pool-based AL settings.
- Abstract(参考訳): 校正誤差の低い分類器を積極的に学習する問題について検討する。
プールベースのアクティブラーニング(AL)において最もポピュラーな獲得関数(AF)の1つは、モデルの不確実性によるクエリである。
しかし,未ラベルプール上の不確実性モデルがAFの有効性に大きな影響を及ぼし,未確認データに対する準最適一般化と高いキャリブレーション誤差が生じる可能性がある。
ディープニューラルネットワーク(DNN)は、DNNのモデルの不確実性は通常、未調整であるため、さらに悪化させる。
そこで我々は, DNNの不確実性を利用する前に, キャリブレーション誤差とクエリサンプルを高いキャリブレーション誤差で推定し, 新たなAFを提案する。
具体的には、共変量シフトの下でカーネルキャリブレーション誤差推定器を使用し、このAFを用いたALが最終的にラベルのないプールと見えないテストデータ上の有界キャリブレーション誤差につながることを正式に示す。
提案手法は、プールベースのAL設定に対して低いキャリブレーションと一般化誤差を持つことで、他のAFベースラインを超えている。
関連論文リスト
- Calibrating Deep Neural Network using Euclidean Distance [5.3612053942581275]
機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。
高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。
本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
論文 参考訳(メタデータ) (2024-10-23T23:06:50Z) - PseudoCal: A Source-Free Approach to Unsupervised Uncertainty
Calibration in Domain Adaptation [87.69789891809562]
非教師なしドメイン適応(UDA)は、未ラベルのターゲットドメインのモデルの精度を向上する顕著な進歩を目撃している。
UDAモデルの安全な配置の重要な側面であるターゲット領域における予測不確実性の校正は、あまり注目されていない。
PseudoCalは、ラベルのないターゲットデータにのみ依存するソースフリーキャリブレーション手法である。
論文 参考訳(メタデータ) (2023-07-14T17:21:41Z) - Calibration Error Estimation Using Fuzzy Binning [0.0]
ファジィビンニング手法を用いてキャリブレーション誤差を算出するファジィ誤差計量(FCE)を提案する。
以上の結果から,FCEは特にマルチクラス設定において,キャリブレーション誤差の予測に優れることがわかった。
論文 参考訳(メタデータ) (2023-04-30T18:06:14Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - Transferable Calibration with Lower Bias and Variance in Domain
Adaptation [139.4332115349543]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。
DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。
TransCalは既存のDAメソッドの校正に簡単に適用できる。
論文 参考訳(メタデータ) (2020-07-16T11:09:36Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳(メタデータ) (2020-02-25T08:03:01Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳(メタデータ) (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。