論文の概要: On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift

• arxiv url: http://arxiv.org/abs/2505.11380v1
• Date: Fri, 16 May 2025 15:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.478657
• Title: On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift
• Title（参考訳）: データセットシフトによる校正・定量化・分類器精度予測の相互接続について
• Authors: Alejandro Moreo,
• Abstract要約: 本稿では,データセットシフト条件下でのキャリブレーションと定量化の3つの基本問題間の相互接続について検討する。 これらのタスクのいずれか1つに対するオラクルへのアクセスは、他の2つのタスクの解決を可能にすることを示す。 本稿では,他の分野から借用した高度に確立された手法の直接適応に基づく各問題に対する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 58.91436551466064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When the distribution of the data used to train a classifier differs from that of the test data, i.e., under dataset shift, well-established routines for calibrating the decision scores of the classifier, estimating the proportion of positives in a test sample, or estimating the accuracy of the classifier, become particularly challenging. This paper investigates the interconnections among three fundamental problems, calibration, quantification, and classifier accuracy prediction, under dataset shift conditions. Specifically, we prove their equivalence through mutual reduction, i.e., we show that access to an oracle for any one of these tasks enables the resolution of the other two. Based on these proofs, we propose new methods for each problem based on direct adaptations of well-established methods borrowed from the other disciplines. Our results show such methods are often competitive, and sometimes even surpass the performance of dedicated approaches from each discipline. The main goal of this paper is to fostering cross-fertilization among these research areas, encouraging the development of unified approaches and promoting synergies across the fields.
• Abstract（参考訳）: 分類器を訓練するために使用されるデータの分布が、データセットシフトの下でのテストデータと異なる場合、分類器の判定スコアを校正し、テストサンプルの正の比率を推定し、分類器の精度を推定する確立されたルーチンが特に困難になる。 本稿では,データシフト条件下でのキャリブレーション,定量化,分類器の精度予測という3つの基本的な問題間の相互関係について検討する。 具体的には、それらの等価性を互いに還元することで証明し、すなわち、これらのタスクのいずれかに対してオラクルにアクセスすることで、他の2つのタスクの解決が可能になることを示す。 これらの証明に基づき、他の分野から借用された確立された手法の直接適応に基づいて、各問題に対する新しい手法を提案する。 以上の結果から,このような手法はしばしば競争力があり,時には各分野の専門的アプローチのパフォーマンスを上回ります。 本研究の主な目的は,これらの研究分野における交配の促進,統一的アプローチの育成,各分野における相乗効果の促進である。

関連論文リスト

• Adapting Conformal Prediction to Distribution Shifts Without Labels [16.478151550456804]
  コンフォーマル予測(CP)により、機械学習モデルは、保証されたカバレッジ率で予測セットを出力できる。 我々の目標は、テストドメインからのラベルなしデータのみを使用して、CP生成予測セットの品質を改善することです。 これは、未ラベルテストデータに対するベースモデルの不確実性に応じてCPのスコア関数を調整する、ECP と EACP と呼ばれる2つの新しい手法によって達成される。
  論文  参考訳（メタデータ） (2024-06-03T15:16:02Z)
• Group Robust Classification Without Any Group Information [5.053622900542495]
  この研究は、グループロバストネスに対する現在のバイアス非教師アプローチが、最適なパフォーマンスを達成するためにグループ情報に依存し続けていることを主張する。 バイアスラベルは依然として効果的なモデル選択に不可欠であり、現実のシナリオにおけるこれらの手法の実用性を制限する。 本稿では, 偏りのないモデルに対して, 完全にバイアスのない方法でトレーニングし, 妥当性を検証するための改訂手法を提案する。
  論文  参考訳（メタデータ） (2023-10-28T01:29:18Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• Identifying the Context Shift between Test Benchmarks and Production Data [1.2259552039796024]
  データセットベンチマークにおける機械学習モデルの精度と実運用データの間には、パフォーマンスのギャップがある。 分布変化とモデル予測誤差につながる文脈変化を同定する2つの手法を概説する。 本研究は,機械学習モデルに基づく暗黙の仮定を強調するケーススタディを2つ提示する。
  論文  参考訳（メタデータ） (2022-07-03T14:54:54Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
  ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。 半教師付き長尾認識という新しい認識設定を提案する。 2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-05-01T00:43:38Z)
• Domain Adaptative Causality Encoder [52.779274858332656]
  我々は,適応因果同定と局所化の課題に対処するために,依存木の特徴と敵対学習を活用する。 我々は、テキストにあらゆる種類の因果関係を統合する新しい因果関係データセット、MedCausを提案する。
  論文  参考訳（メタデータ） (2020-11-27T04:14:55Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。