論文の概要: Estimating calibration error under label shift without labels

• arxiv url: http://arxiv.org/abs/2312.08586v1
• Date: Thu, 14 Dec 2023 01:18:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 00:20:29.952297
• Title: Estimating calibration error under label shift without labels
• Title（参考訳）: ラベルなしラベルシフト時の校正誤差の推定
• Authors: Teodora Popordanoska, Gorjan Radevski, Tinne Tuytelaars, Matthew B. Blaschko
• Abstract要約: 既存のCE推定器は、ターゲットドメインからのラベルへのアクセスを前提としており、実際には利用できないことが多い。 本研究は、ラベルシフト中の新しいCE推定器を提案し、ソースとターゲットの分布間の条件付き$p(X|Y)$定数を維持しながら、境界ラベル分布の$p(Y)$の変化を特徴とする。 我々の貢献は、ラベル付きソース分布の重要度再重み付けを活用することによって、シフトしたターゲット分布に対する一貫性と偏りのないCE推定を提供するアプローチである。
• 参考スコア（独自算出の注目度）: 47.57286245320775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the face of dataset shift, model calibration plays a pivotal role in ensuring the reliability of machine learning systems. Calibration error (CE) is an indicator of the alignment between the predicted probabilities and the classifier accuracy. While prior works have delved into the implications of dataset shift on calibration, existing CE estimators assume access to labels from the target domain, which are often unavailable in practice, i.e., when the model is deployed and used. This work addresses such challenging scenario, and proposes a novel CE estimator under label shift, which is characterized by changes in the marginal label distribution $p(Y)$, while keeping the conditional $p(X|Y)$ constant between the source and target distributions. Our contribution is an approach, which, by leveraging importance re-weighting of the labeled source distribution, provides consistent and asymptotically unbiased CE estimation with respect to the shifted target distribution. Empirical results across diverse real-world datasets, under various conditions and label-shift intensities, demonstrate the effectiveness and reliability of the proposed estimator.
• Abstract（参考訳）: データセットシフトに直面した場合、モデルキャリブレーションは、機械学習システムの信頼性を確保する上で重要な役割を果たす。 校正誤差(CE)は、予測確率と分類器の精度の一致の指標である。 以前の研究は、キャリブレーションにおけるデータセットのシフトの意味を掘り下げているが、既存のce推定者は、モデルがデプロイされ使用されるときに、実際に利用できない場合が多いターゲットドメインからのラベルへのアクセスを想定している。 この研究はこのような困難なシナリオに対処し、ソースとターゲットの分布の間に条件付き$p(X|Y)$定数を保ちながらラベル分布の変化を特徴とするラベルシフトの下での新しいCE推定器を提案する。 我々の貢献は、ラベル付きソース分布の重み付けを生かして、シフトしたターゲット分布に対する一貫性と漸近的にないCE推定を提供するアプローチである。 実世界の様々なデータセットにまたがる実験結果とラベルシフト強度は,提案した推定器の有効性と信頼性を示す。

関連論文リスト

• Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
  ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。 本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。 本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with Differentiable Expected Calibration Error [50.86671887712424]
  ドメイン適応型セマンティックセグメンテーションの流行は、ソースドメインデータの漏洩に関する懸念を引き起こしている。 ソースデータの要求を回避するため、ソースフリーなドメイン適応が実現可能なソリューションとして登場した。 校正誘導型ソースフリーなドメイン適応型セマンティックセマンティックセマンティクスフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-06T03:28:34Z)
• ELSA: Efficient Label Shift Adaptation through the Lens of Semiparametric Models [2.73424570009809]
  ラベルシフトのコンテキスト下では、ラベルの限界分布はトレーニングとテストデータセットによって異なる。 本稿では,影響関数の幾何学に基づくラベルシフト適応のためのモーメントマッチングフレームワークを提案する。 このような枠組みの下では、 underlineEfficient underlineLabel underlineShift underline Adaptation (ELSA) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-30T15:31:44Z)
• Predicting Class Distribution Shift for Reliable Domain Adaptive Object Detection [2.5193191501662144]
  Unsupervised Domain Adaptive Object Detection (UDA-OD) は、オープンワールド環境におけるロボットビジョンシステムの信頼性を向上させるために、非ラベルデータを使用する。 自己学習に基づくUDA-ODに対する従来のアプローチは、画像の一般的な外観の変化を克服するのに有効である。 本稿では,自己学習における疑似ラベルの信頼性を向上させるために,クラス分散シフトに明示的に対処するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-13T00:46:34Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
  論文  参考訳（メタデータ） (2020-07-16T11:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。