論文の概要: Calibration and Risk-Budgeted Decisions with System One Models

• arxiv url: http://arxiv.org/abs/2610.19811v1
• Date: Wed, 14 Oct 2026 08:54:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.452803
• Title: Calibration and Risk-Budgeted Decisions with System One Models
• Title（参考訳）: システム1モデルによる校正とリスク予算決定
• Abstract要約: LLMとエージェントは、入力を許可/ブロックしたり、検索したドキュメントを破棄/保存したりといったバイナリな決定に頼っている。 我々は,この設定におけるシステム1決定スコアについて,不確実な場合には保守的なフォールバックをデフォルトにすることで検討する。 テストリスクが定義された設定の約半数において、閾値選択の単純基線が目標リスクを超えていることが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM workflows and agents rely on a set of binary decisions like allow/block an input, or discard/retain a retrieved document. When human deferral is unavailable, uncertain cases must still receive an action. We study System One decision scores in this setting by defaulting to a conservative fallback when uncertain, and controlling the false omission risk within the subset of inputs assigned the utility-maximizing action. Across six datasets covering moderation, safety, and reranking, we compare general System One models with task baselines and a local open-weights fine-tuned System One model. We show that naive baselines for threshold selection exceed the target risk in roughly half of settings with defined test risk, compared with 7.8\% for Learn Then Test (LTT), which leverages finite-sample statistical guarantees. Our results show why relying on a probability-like interface is insufficient for deployment decisions and how risk-budgeted selection trades useful action against observed error.
• Abstract（参考訳）: LLMワークフローとエージェントは、入力を許可/ブロックしたり、検索したドキュメントを破棄/保存したりといったバイナリな決定に頼っている。 人間の先延ばしが不可能な場合、不確実なケースは依然としてアクションを受けなければならない。 システム1は、不確実な場合には保守的なフォールバックをデフォルトにし、ユーティリティ最大化アクションを割り当てた入力のサブセット内で、誤った省略リスクを制御することで、この設定におけるスコアを調査する。 6つのデータセットで、モデレーション、安全性、再ランクをカバーし、一般的なSystem Oneモデルとタスクベースラインとローカルなオープンウェイト微調整されたSystem Oneモデルを比較した。 有限サンプル統計保証を利用するLearning Then Test (LTT) の7.8\%と比較すると, しきい値選択のナイーブベースラインは, テストリスクが定義された設定の約半分で目標リスクを超えていることが示唆された。 以上の結果から, 確率的インタフェースを頼りにするのは, 配置決定に不十分な理由と, リスク予算選択が観測誤差に対してどのように有効かが示唆された。

関連論文リスト

• Local Violation Certification for Linear Predict-Then-Optimize Pipelines [0.0]
  入力不確実性下での線形決定パイプラインに特化して設計された局所的違反認定のための枠組みを提案する。 我々は,標準サンプリング手法が稀な違反に対して効率よく失敗することを数学的に証明し,直接的な構造的アプローチの動機付けを行う。 我々は,排出規制の対象となる経済力派遣システムへのアプローチを実証し,正確な監査可能なリスク評価を提供する。
  論文  参考訳（メタデータ） (2026-08-05T05:58:06Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Conformal Selective Prediction with General Risk Control [8.936337121607677]
  我々は、トレーニングされたモデルと、ユーザ定義、バウンダリ、継続的な評価のリスクに対して、そのような決定を導出するための新しいフレームワークを提案する。 SCoREは、システムがモデルを信頼することを選択したケースのリスクに関する2つの保証を提供する。 提案手法をシミュレーションにより評価し, 薬物発見, 健康リスク予測, 大規模言語モデルにおける誤り管理への応用を通じて, 有効性を示す。
  論文  参考訳（メタデータ） (2026-03-25T18:29:23Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• SAFER: Risk-Constrained Sample-then-Filter in Large Language Models [38.97678256807034]
  本稿では,無意識サンプリングと共形フィルタリングを組み合わせた2段階リスク制御フレームワークを提案する。 その結果,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があることが判明した。
  論文  参考訳（メタデータ） (2025-10-11T12:12:41Z)
• Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
  言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。 本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。 回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
  論文  参考訳（メタデータ） (2025-03-03T09:16:26Z)
• Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
  しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。 提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
  論文  参考訳（メタデータ） (2024-03-28T17:28:06Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。