論文の概要: PRISM: A Post-Prediction Reliability Framework for Evidence-Guided Correction and Selective Abstention
- arxiv url: http://arxiv.org/abs/2611.18127v1
- Date: Fri, 13 Nov 2026 12:54:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.345195
- Title: PRISM: A Post-Prediction Reliability Framework for Evidence-Guided Correction and Selective Abstention
- Title(参考訳): PRISM: 証拠誘導訂正と選択的回避のための予測後信頼性フレームワーク
- Abstract要約: 初期出力発生後の予測信頼性を評価するフレームワークであるPRISMを提案する。
PRISMは利用可能な信号を分析し、過去のデータから類似した状況を検索し、代替の予測が証拠によって支持されているかどうかを検証する。
その後、証拠が不十分な場合には、元の予測を維持したり、検証された修正を適用したり、棄権することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A model may produce a prediction with high confidence and still get the outcome wrong. This is a challenge in sequential applications, where the system evolves over time and deployment data may differ from the data used during training. To address this issue, we propose PRISM (Prediction Reliability and Intelligent Self-Correction Mechanism), a framework that evaluates prediction reliability after the initial output is generated. It estimates the risk of error and examines predictions identified as potentially unreliable. For these cases, PRISM analyses available signals, retrieves similar situations from historical data, and verifies whether an alternative prediction is supported by the evidence. It can then retain the original prediction, apply a verified correction, or abstain when the evidence is insufficient. We evaluate PRISM on second-innings match prediction in the Indian Premier League (IPL). Ball-by-ball records are converted into over-level observations to capture changes in match conditions throughout an innings. To preserve temporal order, earlier IPL seasons are used for training, IPL 2024 for validation, and IPL 2025-2026 for out-of-time testing. The dataset contains 8,665 over-level observations from 475 matches, with the test partition comprising 2,568 observations from 142 matches. In one experimental record, Logistic Regression, Random Forest, and HistGradientBoosting achieve accuracies of 65.2%, 68.4%, and 70.2%, respectively. The corresponding PRISM evaluation reports a selective accuracy of 82.4% at 88.5% coverage, with a Brier score of 0.126 and an expected calibration error (ECE) of 0.019.
- Abstract(参考訳): モデルは高い信頼性で予測を生成し、それでも結果が間違っている場合もあります。
これは、システムが時間とともに進化し、デプロイデータがトレーニング中に使用されるデータと異なる場合の、シーケンシャルなアプリケーションにおける課題である。
この問題に対処するため,初期出力発生後の予測信頼性を評価するフレームワークであるPRISM(Prediction Reliability and Intelligent Self-Correction Mechanism)を提案する。
エラーのリスクを見積もり、潜在的に信頼できないと判断された予測を調べる。
これらの場合、PRISMは利用可能な信号を分析し、過去のデータから同様の状況を検索し、証拠によって別の予測が支持されているかどうかを検証する。
その後、証拠が不十分な場合には、元の予測を維持したり、検証された修正を適用したり、棄権することができる。
インド・プレミアリーグ(IPL)における2回目マッチ予測におけるPRISMの評価を行った。
ボールバイボール記録は、インニングを通して一致条件の変化を捉えるために、オーバーレベルな観測に変換される。
時間順を保つために、初期のIPLシーズンはトレーニングに、IPL 2024は検証に、IPL 2025-2026はアウトオブタイムテストに使用される。
データセットは475試合から8,665回のオーバーレベル観測を含み、テストパーティションは142試合から2,568回の観測で構成されている。
1つの実験記録では、ロジスティック回帰、ランダムフォレスト、HistGradientBoostingはそれぞれ65.2%、68.4%、70.2%である。
対応するPRISM評価では、選択的精度は82.4%で88.5%、ブライアスコアは0.126、キャリブレーション誤差は0.019である。
関連論文リスト
- Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result [0.0]
本報告では,モデルがトレーニングされる前に欠陥を検出し,修復するデータオンボーディングパイプラインを提案する。
制御された実験は、パイプラインが24時間前の予測を保護するかどうかを測定する。
すべての数値は、SHA-256検証、84の自動テスト、継続的インテグレーションによるピン付き公開入力から再現可能である。
論文 参考訳(メタデータ) (2026-10-01T19:23:37Z) - Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction? [20.4347717201292]
我々は,教師付き微調整や強化学習など,広く利用されているテストタイムスケーリング戦略とポストトレーニング手法を評価した。
生成、選択、学習の4つの障害モードを特定します。
我々は、すべての候補者の姿勢に対する直接的なスコアと、個人の歴史からの支持を明確に評価する単純なアプローチを探求する。
論文 参考訳(メタデータ) (2026-09-27T03:27:05Z) - Typed Temporal Interaction Features for Simulation-Backed Forecasting of Open-Source Game Release Incidents [0.0]
オープンソースのビデオゲームの品質は、コード、アセット、設定、テスト、コントリビュータ、課題予測器間の相互作用に依存する。
GAMEQUALGRAPH-Pilotは、リスク見積と労力対応ランキングを備えた、型付き時間的機能パイプラインである。
5つのシードワールドには120のプロジェクトと24のリリースがあり、プロジェクトには相容れない検証と将来のクロスプロジェクトテストがある。
論文 参考訳(メタデータ) (2026-09-12T19:34:02Z) - CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。
ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。
どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
論文 参考訳(メタデータ) (2026-07-22T13:34:17Z) - Training-Free Model Selection and Domain-Aware Score Calibration for First-Shot Anomalous Sound Detection [0.12691047660244334]
DCASE Challenge Task 2における1発の異常音検出は、未確認の機械の異常を1つの閾値で警告しなければならない。
ソースドメインとターゲットドメインのAUCはシステム間で負の相関を持ち、開発セットの性能は評価セットのパフォーマンスを予測しない。
凍結したオーディオ埋め込みの上に、トレーニング不要のポストホック層で対処する。
論文 参考訳(メタデータ) (2026-07-05T22:22:31Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-13T15:37:11Z) - Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。
モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳(メタデータ) (2020-06-18T05:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。