論文の概要: Cost-Aware Post-Hoc Deferral Under Calibration and Shift: An Environmental AI Case Study
- arxiv url: http://arxiv.org/abs/2609.09235v1
- Date: Mon, 07 Sep 2026 23:09:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.741394
- Title: Cost-Aware Post-Hoc Deferral Under Calibration and Shift: An Environmental AI Case Study
- Title(参考訳): 校正・シフト下における費用対費用対効果:環境AIケーススタディ
- Abstract要約: 本研究では,6グループ誤りリスク推定器,クラス非対称コスト,レビュア精度,オプションサポートゲートを用いて,自動動作とレビュー結果の比較を行う。
12のオフザシェルフバックエンド、学習リスク、キャリブレーションに適合したクラス対応の信頼度推定器、それぞれが生のChowを6回打ち負かしている。
10の川駅に乗り換えると、ゲートは全てのケースにフラグを付け、常に見直されるフォールバックとなり、レビューが完璧で制約のない場合にのみ8つの駅で最低コストに達する。
- 参考スコア(独自算出の注目度): 2.9152186617858304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Choosing a deferral policy for a frozen classifier requires more than ranking uncertain cases: confidence may be miscalibrated, errors have unequal costs, reviewers can err, and deployment data can leave calibration support. We study these interactions through EcoTrust, a post-hoc framework that compares automatic action with review using a six-group error-risk estimator, class-asymmetric costs, reviewer accuracy, and an optional support gate. On a Columbia River thermal-stress testbed, the learned estimator improves error-ranking area under the receiver operating characteristic curve from 0.869 to 0.889, but Chow's confidence rule has lower in-distribution cost (0.416 versus 0.567 per day). Across 12 off-the-shelf backends, learned risk and a calibration-matched, class-aware confidence estimator each beat raw Chow on six; a paired year-block bootstrap does not resolve their mean cost difference. In transfer to ten river stations, the gate flags every case and becomes an always-review fallback, attaining the lowest cost on eight stations only when review is perfect and unconstrained. These results characterize decision boundaries on one controlled task: richer risk signals do not reliably improve on calibrated confidence, and detected extrapolation does not imply transferable case-level ranking.
- Abstract(参考訳): 冷凍型分類器の遅延ポリシーを選択するには、不確実なケースのランク付け以上のものが必要である: 信頼性は誤認され、エラーは不平等なコストであり、レビュアーは悪化し、デプロイメントデータは校正サポートを離れることができる。
EcoTrustは,6グループ誤りリスク推定器,クラス非対称コスト,レビュア精度,オプションサポートゲートを用いて,自動動作とレビューを比較検討した。
コロンビア川熱ストレス試験場では、学習した推定器は受信機の特性曲線の誤差レベルを0.869から0.889に改善するが、Chowの信頼性則は流通コストを低くする(0.416対0.567対0.567)。
12のオフザシェルフバックエンド、学習リスク、キャリブレーションに適合したクラス対応の信頼度推定器、それぞれが生のChowを6回打ち負かしている。
10の川駅に乗り換えると、ゲートは全てのケースにフラグを付け、常に見直されるフォールバックとなり、レビューが完璧で制約のない場合にのみ8つの駅で最低コストに達する。
よりリッチなリスク信号は、キャリブレーションされた信頼度を確実に改善せず、検出された外挿は、転送可能なケースレベルランキングを含まない。
関連論文リスト
- Certified Safety Curation: Distribution-Free Guarantees for Safe Offline Reinforcement Learning [0.0]
Filter-then-cloneパイプライン: セグメント比較からトレーニングされた状態のみの値が、すべてのトラジェクトリをスコアする。
我々は、オフラインのRLや模倣のためのトレーニングセットの構成を認定する事前の作業について知りません。
論文 参考訳(メタデータ) (2026-09-10T06:45:32Z) - Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。
LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。
判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
論文 参考訳(メタデータ) (2026-08-23T16:09:54Z) - $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。
既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。
提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文 参考訳(メタデータ) (2026-08-20T17:58:50Z) - Adaptive Finite-Budget Training for CVaR Risk-Aware Q-Learning [7.373349445059511]
リスク対応Q-ラーニング(RaQL)は、動的リスク目標に対するモデルフリーで2時間スケールの推定手段を提供する。
本稿では,CVaR(Conditional Value-at-Risk) RaQLの適応型トレーニングコントローラを提案し,これを日々のBitcoin取引タスクで評価する。
論文 参考訳(メタデータ) (2026-08-05T00:26:22Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳(メタデータ) (2026-07-30T16:20:58Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳(メタデータ) (2026-07-30T10:29:22Z) - Beyond Output-Space Calibration: Spectral Evidence Bundling for Selective Reliability Estimation in Time-Series Classification [26.80740674805048]
時系列分類のポストホック校正は通常、出力スコアを再マップするが、配置決定は現在の時間信号によって確実な予測が支持されるかどうかに依存する。
同一の信頼値が異なる時間的サポートを隠蔽し、平均キャリブレーションは偽の高信頼誤差を見逃し、出力空間再校正は限られた入力リンク監査性を提供する。
信頼すべきかどうかを推定しながら、バックボーンの予測を一定に保ちつつ、バリデーション付き固定ラベル信頼性ポリシーを導入する。
論文 参考訳(メタデータ) (2026-06-29T01:31:00Z) - Discovery of Hidden Miscalibration Regimes [52.452902154360565]
モデルは何らかの入力を体系的に過信し、他人を過信することがある。
対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。
提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
論文 参考訳(メタデータ) (2026-05-13T13:07:50Z) - VI-CuRL: Stabilizing Verifier-Independent RL Reasoning via Confidence-Guided Variance Reduction [55.04308051033549]
RLVR(Reinforcement Learning with Verifiable Rewards)は、LLM(Large Language Models)推論を向上するための主要なパラダイムとして登場した。
モデル固有の信頼性を活用して外部検証から独立したカリキュラムを構築するフレームワークであるVerifier-Independent Curriculum Reinforcement Learning (VI-CuRL)を紹介する。
論文 参考訳(メタデータ) (2026-02-13T03:40:52Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。
我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。
NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
論文 参考訳(メタデータ) (2025-03-23T10:52:36Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳(メタデータ) (2022-10-28T07:04:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。