論文の概要: Calibrate-Then-Delegate: Safety Monitoring with Risk and Budget Guarantees via Model Cascades

• arxiv url: http://arxiv.org/abs/2604.14251v1
• Date: Wed, 15 Apr 2026 11:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:29.94676
• Title: Calibrate-Then-Delegate: Safety Monitoring with Risk and Budget Guarantees via Model Cascades
• Title（参考訳）: Calibrate-Then-Delegate: モデルカスケードによるリスクと予算保証による安全監視
• Authors: Edoardo Pona, Milad Kazemi, Mehran Hosseini, Yali Du, David Watson, Osvaldo Simeone, Nicola Paoletti,
• Abstract要約: 既存のカスケードデリゲートは、プローブの不確実性に基づいているが、不確実性はデリゲートの利益のための貧弱なプロキシである。 本稿では,計算コストの確率的保証を提供するモデルカスケードアプローチであるCalibrate-Then-Delegate (CTD)を紹介する。 CTDは、あらゆる予算レベルで不確実性に基づくデリゲートを一貫して上回る。
• 参考スコア（独自算出の注目度）: 29.43134687557432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monitoring LLM safety at scale requires balancing cost and accuracy: a cheap latent-space probe can screen every input, but hard cases should be escalated to a more expensive expert. Existing cascades delegate based on probe uncertainty, but uncertainty is a poor proxy for delegation benefit, as it ignores whether the expert would actually correct the error. To address this problem, we introduce Calibrate-Then-Delegate (CTD), a model-cascade approach that provides probabilistic guarantees on the computation cost while enabling instance-level (streaming) decisions. CTD builds on a novel delegation value (DV) probe, a lightweight model operating on the same internal representations as the safety probe that directly predicts the benefit of escalation. To enforce budget constraints, CTD calibrates a threshold on the DV signal using held-out data via multiple hypothesis testing, yielding finite-sample guarantees on the delegation rate. Evaluated on four safety datasets, CTD consistently outperforms uncertainty-based delegation at every budget level, avoids harmful over-delegation, and adapts budget allocation to input difficulty without requiring group labels.
• Abstract（参考訳）: LLMの安全性を大規模に監視するには、コストと精度のバランスが必要だ。安価な潜在空間プローブはすべての入力をスクリーニングできるが、難しいケースはより高価な専門家にエスカレーションする必要がある。 既存のカスケードデリゲートはプローブの不確実性に基づいているが、不確実性はデリゲートの利益のプロキシとして不十分である。 この問題に対処するために,モデルカスケードアプローチであるCalibrate-Then-Delegate(CTD)を導入する。 CTDは、エスカレーションのメリットを直接予測する安全プローブと同じ内部表現で動作する軽量モデルである新しいデリゲート値(DV)プローブに基づいている。 予算制約を強制するために、CTDは複数の仮説テストを通じてホールドアウトデータを使用してDV信号の閾値を校正し、デリゲートレートに有限サンプル保証を与える。 4つの安全データセットに基づいて評価され、CTDは、どの予算レベルでも不確実性に基づくデリゲーションを一貫して上回り、有害な過剰デリゲーションを回避し、グループラベルを必要とせずに、入力困難に予算割り当てを適用する。

関連論文リスト

• Conformal Thinking: Risk Control for Reasoning on a Compute Budget [60.65072883773352]
  大規模言語モデル(LLM)の推論により、トークンの予算が増加するにつれて、データセットレベルの精度が向上する。 我々は、予算設定問題をリスクコントロールとして再設定し、計算を最小化しながらエラー率を制限する。 我々のフレームワークは、モデルが自信のあるときに推論を停止する上位しきい値と、未解決のインスタンスを事前に停止させる新しい下位しきい値を導入する。
  論文  参考訳（メタデータ） (2026-02-03T18:17:22Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• SAFER: Risk-Constrained Sample-then-Filter in Large Language Models [38.97678256807034]
  本稿では,無意識サンプリングと共形フィルタリングを組み合わせた2段階リスク制御フレームワークを提案する。 その結果,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があることが判明した。
  論文  参考訳（メタデータ） (2025-10-11T12:12:41Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。