論文の概要: From predictions to confidence intervals: an empirical study of conformal prediction methods for in-context learning

• arxiv url: http://arxiv.org/abs/2504.15722v1
• Date: Tue, 22 Apr 2025 09:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 21:23:04.308064
• Title: From predictions to confidence intervals: an empirical study of conformal prediction methods for in-context learning
• Title（参考訳）: 予測から信頼区間へ--文脈内学習における共形予測手法の実証的研究
• Authors: Zhe Huang, Simone Rossi, Rui Yuan, Thomas Hannagan,
• Abstract要約: 本稿では,共形予測に基づく予測区間の構築手法を提案する。 従来のコンフォメーション法はモデルフィッティングの繰り返しによる計算コストが高いが,ICLを利用して1回のフォワードパスで信頼区間を効率よく生成する。 我々の実証分析は、リッジ回帰に基づくコンフォメーション手法に対するこのアプローチと比較し、インコンテキスト学習(CP with ICL)によるコンフォメーション予測が、堅牢でスケーラブルな不確実性推定を実現することを示す。
• 参考スコア（独自算出の注目度）: 4.758643223243787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have become a standard architecture in machine learning, demonstrating strong in-context learning (ICL) abilities that allow them to learn from the prompt at inference time. However, uncertainty quantification for ICL remains an open challenge, particularly in noisy regression tasks. This paper investigates whether ICL can be leveraged for distribution-free uncertainty estimation, proposing a method based on conformal prediction to construct prediction intervals with guaranteed coverage. While traditional conformal methods are computationally expensive due to repeated model fitting, we exploit ICL to efficiently generate confidence intervals in a single forward pass. Our empirical analysis compares this approach against ridge regression-based conformal methods, showing that conformal prediction with in-context learning (CP with ICL) achieves robust and scalable uncertainty estimates. Additionally, we evaluate its performance under distribution shifts and establish scaling laws to guide model training. These findings bridge ICL and conformal prediction, providing a theoretically grounded and new framework for uncertainty quantification in transformer-based models.
• Abstract（参考訳）: トランスフォーマーは機械学習の標準アーキテクチャとなり、推論時にプロンプトから学ぶことができる強力なコンテキスト内学習(ICL)能力を示している。 しかし、ICLの不確実性定量化は、特にノイズレグレッションタスクにおいて未解決の課題である。 本稿では,ICLが分布のない不確実性推定に活用できるかどうかを考察し,共形予測に基づく予測区間構築手法を提案する。 従来のコンフォメーション法はモデルフィッティングの繰り返しによる計算コストが高いが,ICLを利用して1回のフォワードパスで信頼区間を効率よく生成する。 我々の実証分析は、リッジ回帰に基づくコンフォメーション手法に対するこのアプローチと比較し、インコンテキスト学習(CP with ICL)によるコンフォメーション予測が、堅牢でスケーラブルな不確実性推定を実現することを示す。 さらに,分散シフト下での性能を評価し,モデルトレーニングの指針となるスケーリング法則を確立する。 これらの発見はICLと共形予測を橋渡し、変圧器モデルにおける不確実性定量化の理論的基礎と新しい枠組みを提供する。

関連論文リスト

• Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
  本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。 本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
  論文  参考訳（メタデータ） (2025-02-22T19:54:14Z)
• Addressing Uncertainty in LLMs to Enhance Reliability in Generative AI [47.64301863399763]
  中国レストランプロセスに触発された動的セマンティッククラスタリング手法を提案する。 生成したセマンティッククラスタのエントロピーを計算することにより,あるクエリ上でのLarge Language Model(LLM)の不確実性を定量化する。 本稿では,これらのクラスタの(負の)確率を,コンフォーマル予測フレームワーク内の(非)整合性スコアとして活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-04T18:49:46Z)
• Conformal Risk Minimization with Variance Reduction [37.74931189657469]
  コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化の問題として定式化する。
  論文  参考訳（メタデータ） (2024-11-03T21:48:15Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Learning Optimal Conformal Classifiers [32.68483191509137]
  コンフォーマル予測(CP)は、真のクラスを含む信頼セットをユーザが特定した確率で予測するために用いられる。 本稿では, CP を用いた学習において, コンフォーマルラッパーをエンド・ツー・エンドとしたトレーニングモデルを用いて, CP による差別化戦略について検討する。 コンフォメーショントレーニング(ConfTr)は、平均信頼度セットのサイズを小さくすることで、最先端のCP手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-18T11:25:33Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Failure Prediction by Confidence Estimation of Uncertainty-Aware Dirichlet Networks [6.700873164609009]
  不確実性を考慮したディープディリクレニューラルネットワークは、真のクラス確率計量における正しい予測と誤予測の信頼性の分離を改善できることが示されている。 不均衡とTCP制約を考慮に入れながら、予測信頼度と一致させることで、真のクラス確率を学習するための新しい基準を提案する。
  論文  参考訳（メタデータ） (2020-10-19T21:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。