論文の概要: Conformal Selective Prediction with General Risk Control
- arxiv url: http://arxiv.org/abs/2603.24704v1
- Date: Wed, 25 Mar 2026 18:29:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-27 20:52:47.934093
- Title: Conformal Selective Prediction with General Risk Control
- Title(参考訳): 一般リスク制御によるコンフォーマル選択予測
- Authors: Tian Bai, Ying Jin,
- Abstract要約: 我々は、トレーニングされたモデルと、ユーザ定義、バウンダリ、継続的な評価のリスクに対して、そのような決定を導出するための新しいフレームワークを提案する。
SCoREは、システムがモデルを信頼することを選択したケースのリスクに関する2つの保証を提供する。
提案手法をシミュレーションにより評価し, 薬物発見, 健康リスク予測, 大規模言語モデルにおける誤り管理への応用を通じて, 有効性を示す。
- 参考スコア(独自算出の注目度): 8.936337121607677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In deploying artificial intelligence (AI) models, selective prediction offers the option to abstain from making a prediction when uncertain about model quality. To fulfill its promise, it is crucial to enforce strict and precise error control over cases where the model is trusted. We propose Selective Conformal Risk control with E-values (SCoRE), a new framework for deriving such decisions for any trained model and any user-defined, bounded and continuously-valued risk. SCoRE offers two types of guarantees on the risk among ``positive'' cases in which the system opts to trust the model. Built upon conformal inference and hypothesis testing ideas, SCoRE first constructs a class of (generalized) e-values, which are non-negative random variables whose product with the unknown risk has expectation no greater than one. Such a property is ensured by data exchangeability without requiring any modeling assumptions. Passing these e-values on to hypothesis testing procedures, we yield the binary trust decisions with finite-sample error control. SCoRE avoids the need of uniform concentration, and can be readily extended to settings with distribution shifts. We evaluate the proposed methods with simulations and demonstrate their efficacy through applications to error management in drug discovery, health risk prediction, and large language models.
- Abstract(参考訳): 人工知能(AI)モデルのデプロイにおいて、選択予測はモデル品質について不確実な場合には予測を控えるオプションを提供する。
その約束を果たすためには、モデルが信頼されているケースに対して厳密で正確なエラー制御を強制することが不可欠である。
本稿では,E値を用いた選択的コンフォーマルリスク制御(SCoRE)を提案する。
SCoREは、システムがモデルを信頼することを選択した‘陽性’ケースの中で、リスクに関する2つの保証を提供する。
共形推論と仮説テストのアイデアに基づいて、SCoREはまず、未知のリスクを持つ積が 1 以上期待している非負の確率変数である(一般化された) e-値のクラスを構築する。
このような性質は、モデリングの前提を必要としないデータ交換性によって保証される。
これらのe値を仮説検証手順に渡すと、有限サンプル誤差制御による二項信頼決定が得られる。
SCoREは均一な濃度の必要を回避し、分散シフトのある設定まで容易に拡張できる。
提案手法をシミュレーションにより評価し, 薬物発見, 健康リスク予測, 大規模言語モデルにおける誤り管理への応用を通じて, 有効性を示す。
関連論文リスト
- Entropy Alone is Insufficient for Safe Selective Prediction in LLMs [20.664633053172327]
選択予測システムは、高リスクケースでの回答を控えることで、言語モデル幻覚による害を軽減することができる。
不確実性定量化技術はしばしばそのようなケースを特定するために用いられるが、より広い選択的予測ポリシーの文脈で評価されることはほとんどない。
エントロピーに基づく不確実性手法のモデル依存的故障モードを同定し、エントロピースコアと正当性プローブ信号を組み合わせることで、信頼できない禁忌行動に対処する。
論文 参考訳(メタデータ) (2026-03-22T11:27:13Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳(メタデータ) (2025-12-01T11:27:09Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳(メタデータ) (2025-09-01T13:14:58Z) - Calibrated Prediction Set in Fault Detection with Risk Guarantees via Significance Tests [3.500936878570599]
本稿では,形式的リスク保証を提供するために,コンフォメーション予測フレームワークと重要度テストを統合した新しい故障検出手法を提案する。
提案手法は,名目レベル以上の経験的カバレッジ率(1-alpha$)を一貫して達成する。
その結果、ユーザ定義のリスクレベル(alpha$)と効率の間のコントロール可能なトレードオフが明らかとなり、より高いリスク耐性が平均予測セットのサイズを小さくする。
論文 参考訳(メタデータ) (2025-08-02T05:49:02Z) - Performative Risk Control: Calibrating Models for Reliable Deployment under Performativity [18.09405926516524]
リスク管理を達成するために機械学習モデルを校正することは、信頼性の高い意思決定を保証するために不可欠である。
本稿では, リスク管理を行うためのモデルキャリブレーションフレームワークであるPerformative Risk Controlを紹介する。
論文 参考訳(メタデータ) (2025-05-30T00:59:25Z) - SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳(メタデータ) (2025-04-19T03:01:45Z) - Calibrating AI Models for Wireless Communications via Conformal
Prediction [55.47458839587949]
コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。
本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
論文 参考訳(メタデータ) (2022-12-15T12:52:23Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳(メタデータ) (2022-10-12T07:57:03Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。