論文の概要: Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift

• arxiv url: http://arxiv.org/abs/2610.28937v1
• Date: Tue, 20 Oct 2026 21:30:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.147868
• Title: Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift
• Title（参考訳）: 推測時間モデルシフトによる言語モデルのコンフォーマル予測
• Abstract要約: 我々は、その基礎となる現象を推論時モデルシフトとして定式化する。 一致した評価は、デプロイ時のカバレッジを大幅に上回る可能性があることが分かっています。 我々は、言語モデルシステムにおけるCP評価において、推論構成を第一級実験軸として報告するべきであると論じる。
• 参考スコア（独自算出の注目度）: 20.4921071610701
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Conformal prediction (CP) for language models is typically evaluated under a matched protocol, in which calibration and deployment use the same post-training inference configuration, such as quantization mode and inference temperature. In deployment, these choices often differ from those used at calibration to meet memory or throughput constraints or serving policies. We argue that this exposes a limitation in current CP evaluation protocols for language models. We formalize the underlying phenomenon as inference-time model shift: a change in the conformal score distribution induced by inference configuration rather than by the input--label distribution, and theoretically characterize how it breaks split-conformal exchangeability even when the task distribution and trained model are unchanged. We then evaluate its consequences across 8 language models, 4 finite-label benchmarks, and 12 inference configurations. We find that matched evaluation can substantially overstate deployment-time coverage, and that the effect is heterogeneous across models and datasets. We argue that inference configuration should be reported as a first-class experimental axis in CP evaluations for language-model systems.
• Abstract（参考訳）: 言語モデルのコンフォーマル予測(CP)は、一般的に、キャリブレーションと展開が量子化モードや推論温度などと同じトレーニング後の推論構成を使用する、マッチしたプロトコルで評価される。 デプロイメントにおいて、これらの選択は、メモリやスループットの制約を満たすためにキャリブレーションで使用されるものやポリシーを提供するものとは異なることが多い。 このことは言語モデルに対する現在のCP評価プロトコルの限界を顕在化していると論じる。 入力-ラベル分布ではなく、推論構成によって誘導される共形スコア分布の変化を推論時モデルシフトとして定式化し、タスク分布とトレーニングされたモデルが変化しても、それが分割-共形交換性をどのように破壊するかを理論的に特徴付ける。 次に,8つの言語モデル,4つの有限ラベルベンチマーク,12の推論設定で結果を評価する。 一致した評価は、デプロイ時のカバレッジを大幅に上書きし、その効果がモデルやデータセット間で異質であることに気付きました。 我々は、言語モデルシステムにおけるCP評価において、推論構成を第一級実験軸として報告するべきであると論じる。

関連論文リスト

• Corrective Forcing: Unified Post-Training for Diffusions and Flows in Generative Speech Enhancement [22.069690917000784]
  私たちは、自己生成ロールアウトから学習し、予測を正すように拡散とフローモデルを強制するポストトレーニングパラダイムであるCorrective Forcingを紹介します。 SB-VEとOT-CFMによる実験では、知覚品質と再現性の改善が示されている。
  論文  参考訳（メタデータ） (2026-09-21T14:23:15Z)
• Causal Imitation Learning Under Measurement Error and Distribution Shift [6.038778620145853]
  ノイズ測定によってのみ、決定関連状態の一部が観察される場合、オフライン模倣学習(IL)について検討する。 本稿では,変数間の因果関係を明示的にモデル化することによって,測定誤差下でのILの一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:06:53Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Normalizing Flows for Conformal Regression [0.0]
  Conformal Prediction (CP)アルゴリズムは、ラベル付きデータに基づいて出力を校正することで予測モデルの不確実性を推定する。 キャリブレーション過程をトレーニングすることで、間隔をローカライズする一般的なスキームを提案する。 PapadopoulosらによるError Reweighting CPアルゴリズム(2008年)とは異なり、このフレームワークは名目と経験的条件の妥当性のギャップを推定できる。
  論文  参考訳（メタデータ） (2024-06-05T15:04:28Z)
• Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift [28.73747033245012]
  本稿では,コンテキスト駆動分布シフトの検出と適応のための普遍的キャリブレーション手法を提案する。 レジデンシャルベースCDS検出器(Residual-based CDS detector)またはリコンディショナー(Reconditionor)と呼ばれる新しいCDS検出器は、モデルの脆弱性をCDSに定量化する。 高いリコンディショナースコアは、重度の感受性を示し、したがってモデル適応を必要とする。
  論文  参考訳（メタデータ） (2023-10-23T11:58:01Z)
• Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models [58.720142291102135]
  プロンプト、データセット、アーキテクチャといった関連する変数のキャリブレーションを測定し、CLIPによるゼロショット推論が誤校正されていることを見つけます。 学習した1つの温度は、推論データセットにまたがって特定のCLIPモデルごとに一般化され、選択が促される。
  論文  参考訳（メタデータ） (2023-03-11T17:14:04Z)
• Instance-Based Neural Dependency Parsing [56.63500180843504]
  依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。 私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
  論文  参考訳（メタデータ） (2021-09-28T05:30:52Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。