論文の概要: How Much Imprecision is Enough Imprecision in my Classifier? A Practical Elicitation Procedure

• arxiv url: http://arxiv.org/abs/2609.33352v1
• Date: Sun, 27 Sep 2026 08:23:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:51:35.94119
• Title: How Much Imprecision is Enough Imprecision in my Classifier? A Practical Elicitation Procedure
• Title（参考訳）: 分類器にどの程度不正確か? : 実用的解法
• Abstract要約: 本稿では,設定された予測に対するユーザの利便性を測定するための実用的かつ運用的な手順を提案する。 提案手法は,実際のアプリケーションに対するアプローチの実践性を強調し,少数のインスタンスをユーザに提示する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Set-valued classifiers, whether derived from precise probabilities and an adapted cost function, from convex sets with a robust inference mechanism, or from conformal methods, are routine options to obtain more robust, trustworthy predictions. However, there is a lack of operational tools to measure how robust or imprecise a given user is ready to be when receiving predictions, that is how much precision he/she is ready to let go in exchange of more accuracy. This is why we propose, in this paper, practical and operational elicitation procedures to measure the user proneness to set-valued predictions. The effectiveness of the iterative elicitation procedure in converging to the target parameter value is demonstrated on both tabular and image datasets drawn from standard machine learning benchmarks. The results show that the procedure also presents the user with a small number of instances, highlighting the practicality of the approach for real-world applications aimed at identifying the decision maker's optimal behavior when faced with imprecision.
• Abstract（参考訳）: 厳密な確率と適応コスト関数から導かれるか、頑健な推論機構を持つ凸集合から導かれるか、コンフォーマルな方法から導かれるかは、より堅牢で信頼できる予測を得るための定期的な選択肢である。 しかし、予測を受けると、あるユーザがどれほど頑丈であるか、あるいは不正確であるかを測定するための運用ツールが不足している。 そこで本論文では,設定された予測に対するユーザの習熟度を測定するための,実践的かつ運用的な推論手順を提案する。 標準機械学習ベンチマークから抽出した表と画像のデータセットに対して,目標パラメータ値に収束する反復的推論手法の有効性を示す。 その結果,提案手法は少数のインスタンスをユーザに提示し,インプレクションに直面する際の意思決定者の最適な行動を特定することを目的とした実世界のアプリケーションに対するアプローチの実用性を強調した。

関連論文リスト

• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions [11.136449698197174]
  この作業では、不確実性推定、モデルのキャリブレーション、およびコードモデルに対するツールベースの禁忌処理を統合する統一的なフレームワークを導入している。 提案設計では,信頼性の高い正当性確率を割り当てたり,不確実性の下で不確実性を排除したり,不確実性のあるケースを処理するための軽量なプログラム解析手順を実行することができる。
  論文  参考訳（メタデータ） (2026-05-19T05:04:42Z)
• Evaluating Numerical Accuracy in Mixed-Precision Computing by Dual-Delta Testing [0.7106986689736828]
  独自の混合精度関数を実装する際には,それらの数値精度を検証することが重要である。 従来のアプローチでは、単一のエラーメトリックを使用して参照に対するカスタム実装を比較するのが一般的である。 本稿では,2つの誤差分布を高精度なオラクルに対して評価する手法であるtextitDual-Delta Testingを紹介する。
  論文  参考訳（メタデータ） (2026-02-11T07:54:04Z)
• A Unified Evaluation Framework for Epistemic Predictions [4.881392509032435]
  本稿では,不確実性認識型分類器の統一評価フレームワークを提案する。 ユーザは、適切に設計されたパフォーマンス指標を使用して、精度と予測精度のトレードオフを調整できる。 これにより、所望のトレードオフの関数として、特定の現実世界のアプリケーションに最も適したモデルを選択することができる。
  論文  参考訳（メタデータ） (2025-01-28T12:59:29Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
  規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。 このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。 合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
  論文  参考訳（メタデータ） (2021-10-22T15:03:20Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Weight-of-evidence 2.0 with shrinkage and spline-binning [3.925373521409752]
  分類予測器を変換するための形式化、データ駆動、強力な方法を提案する。 我々は,重み付け手法を拡張し,縮尺推定器を用いて比例を推定することを提案する。 本稿では,提案手法の有効性を示す詐欺検出セットにおける一連の実験結果を示す。
  論文  参考訳（メタデータ） (2021-01-05T13:13:16Z)
• AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
  本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。 最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。 さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T23:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。