論文の概要: PromptShift-CRC: Drift-Aware Conformal Risk Control for Foundation Models Under Prompt and Domain Shift
- arxiv url: http://arxiv.org/abs/2606.15964v1
- Date: Sun, 14 Jun 2026 18:45:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.966769
- Title: PromptShift-CRC: Drift-Aware Conformal Risk Control for Foundation Models Under Prompt and Domain Shift
- Title（参考訳）: PromptShift-CRC: PromptおよびDomain Shift下の基礎モデルのドリフト対応コンフォーマルリスク制御
- Abstract要約: ファンデーションモデルは、受信したプロンプトが素早く変更できる設定で使用されるようになった。
コンフォーマルな予測とコンフォーマルなリスクコントロールは、モデルに依存しないエラーの制御方法を与えるが、キャリブレーションデータが将来的なデータに見えても、最もうまく機能する。
本稿では,プロンプトシフトCRCを開発した。プロンプトシフトとドメインシフトによる基礎モデル出力に対するドリフト対応型コンフォメーションリスク制御手法である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models are now used in settings where the prompts they receive can change quickly. Users change, topics change, policies change, and the model may suddenly face a kind of request that was rare in the calibration data. This makes fixed calibration risky. Conformal prediction and conformal risk control give model-agnostic ways to control error, but they work best when the calibration data still look like the future data. This paper develops PromptShift CRC, a drift-aware conformal risk control method for foundation-model outputs under prompt and domain shift. The method embeds prompts and responses, measures how far the current prompt stream has moved from the calibration pool, gives more weight to relevant or recent calibration examples, and updates the risk level online after observed violations. It reports three practical diagnostics: realized risk error, prompt drift, and effective calibration size. We give conditions under which the method controls risk up to terms for distribution mismatch and weighted quantile uncertainty. In a synthetic prompt-shift benchmark, static conformal risk control fails sharply after drift, while PromptShift-CRC gives the best coverage among the adaptive baselines considered. We then evaluate the same calibration layer on public benchmark derived streams for question answering, toxicity, summarization factuality, and long-context hallucination risk
- Abstract（参考訳）: ファンデーションモデルは、受信したプロンプトが素早く変更できる設定で使用されるようになった。
ユーザーは、変更、トピックの変更、ポリシーの変更、そしてモデルが突然、キャリブレーションデータで稀なある種の要求に直面するかもしれない。
これにより固定キャリブレーションのリスクが高まる。
コンフォーマルな予測とコンフォーマルなリスクコントロールは、モデルに依存しないエラーの制御方法を与えるが、キャリブレーションデータが将来的なデータに見えても、最もうまく機能する。
本稿では,プロンプトシフトCRCを開発した。プロンプトシフトとドメインシフトによる基礎モデル出力に対するドリフト対応型コンフォメーションリスク制御手法である。
この手法は、プロンプトとレスポンスを埋め込み、現在のプロンプトストリームがキャリブレーションプールからどのくらい離れたかを測定し、関連するまたは最近のキャリブレーションの例に重みを与え、観察された違反の後、オンラインでリスクレベルを更新する。
リスクエラーの実現,迅速なドリフト,効果的なキャリブレーションサイズという,3つの実用的な診断方法が報告されている。
分散ミスマッチと重み付き量子不確実性の観点から,本手法がリスクを制御する条件を提示する。
合成プロンプトシフトベンチマークでは、静的共形リスク制御はドリフト後に急激に失敗し、PromptShift-CRCは考慮された適応ベースラインの中で最高のカバレッジを提供する。
次に、質問応答、毒性、要約事実性、長文幻覚リスクに対する公開ベンチマーク由来ストリーム上の同じキャリブレーション層の評価を行う。
関連論文リスト
- Calibrate What You SHIP: Post-Selection Risk Control for Verifier-Guided Text-to-Image Generation [10.591500152032529]
推論ポリシのキャリブレーションとして ShiP, Selection-aware Held-out calibration を導入する。
ShiPは、ホールドアウトプロンプトに対する完全なデプロイポリシーを実行または再生し、独立したターゲットジャッジを使用して実際にリリースするイメージを評価し、リスク上限が所定の予算を満たす最も寛容なしきい値を選択する。
固定的、逐次的、適応的なT2I推論手順による実験は、リスク、カバレッジ、計算の間でポリシーに依存したトレードオフを明らかにしながら、ポリシーレベルのキャリブレーションが低いリスクの動作ポイントを回復することを示している。
論文 参考訳（メタデータ） (2026-08-22T03:05:44Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳（メタデータ） (2026-06-04T07:27:53Z) - Transformer-Based Predictive Maintenance for Risk-Aware Instrument Calibration [0.13543803103181612]
キャリブレーションスケジューリングを予測的メンテナンス問題として検討する。
我々は、NASA C-MAPSSベンチマークをキャリブレーション設定に適合させる。
本研究では,条件に基づくキャリブレーションを共同予測と決定の問題とみなすことができることを示す。
論文 参考訳（メタデータ） (2026-03-19T06:32:01Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - LRT-Diffusion: Calibrated Risk-Aware Guidance for Diffusion Policies [8.211731158152554]
拡散政策はオフライン強化学習(RL)と競合する
LRT-Diffusion(リスク対応サンプリングルール)を導入し,各段階を逐次仮説テストとして扱う。
これにより、ガイダンスは、ユーザ解釈可能なリスク予算によるエビデンス駆動の調整に固定されたプッシュから切り替わる。
論文 参考訳（メタデータ） (2025-10-28T21:26:18Z) - SAFER: Risk-Constrained Sample-then-Filter in Large Language Models [38.97678256807034]
本稿では,無意識サンプリングと共形フィルタリングを組み合わせた2段階リスク制御フレームワークを提案する。
その結果,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があることが判明した。
論文 参考訳（メタデータ） (2025-10-11T12:12:41Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2025-09-01T13:14:58Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。
我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。
平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。