論文の概要: Conformal Prediction Beyond the Seen: A Missing Mass Perspective for Uncertainty Quantification in Generative Models

• arxiv url: http://arxiv.org/abs/2506.05497v1
• Date: Thu, 05 Jun 2025 18:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.193024
• Title: Conformal Prediction Beyond the Seen: A Missing Mass Perspective for Uncertainty Quantification in Generative Models
• Title（参考訳）: 意味を超えたコンフォーマル予測:生成モデルにおける不確実性定量化の欠落質量視点
• Authors: Sima Noorani, Shayan Kiyani, George Pappas, Hamed Hassani,
• Abstract要約: Conformal Prediction with Query Oracle (CPQ)は、これらの目的間の最適な相互作用を特徴付けるフレームワークである。 本アルゴリズムは2つの基本原理に基づいて構築されている。一方は最適なクエリポリシーを規定し、他方はクエリされたサンプルから予測セットへの最適マッピングを定義する。
• 参考スコア（独自算出の注目度）: 20.810300785340072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification (UQ) is essential for safe deployment of generative AI models such as large language models (LLMs), especially in high stakes applications. Conformal prediction (CP) offers a principled uncertainty quantification framework, but classical methods focus on regression and classification, relying on geometric distances or softmax scores: tools that presuppose structured outputs. We depart from this paradigm by studying CP in a query only setting, where prediction sets must be constructed solely from finite queries to a black box generative model, introducing a new trade off between coverage, test time query budget, and informativeness. We introduce Conformal Prediction with Query Oracle (CPQ), a framework characterizing the optimal interplay between these objectives. Our finite sample algorithm is built on two core principles: one governs the optimal query policy, and the other defines the optimal mapping from queried samples to prediction sets. Remarkably, both are rooted in the classical missing mass problem in statistics. Specifically, the optimal query policy depends on the rate of decay, or the derivative, of the missing mass, for which we develop a novel estimator. Meanwhile, the optimal mapping hinges on the missing mass itself, which we estimate using Good Turing estimators. We then turn our focus to implementing our method for language models, where outputs are vast, variable, and often under specified. Fine grained experiments on three real world open ended tasks and two LLMs, show CPQ applicability to any black box LLM and highlight: (1) individual contribution of each principle to CPQ performance, and (2) CPQ ability to yield significantly more informative prediction sets than existing conformal methods for language uncertainty quantification.
• Abstract（参考訳）: 不確実性定量化(UQ)は、大規模言語モデル(LLM)のような生成AIモデルの安全なデプロイには不可欠である。 コンフォーマル予測(CP)は、原則化された不確実性定量化フレームワークを提供するが、古典的な手法は、幾何距離やソフトマックススコア(構造化出力を前提としたツール)に依存する回帰と分類に焦点を当てている。 そこでは, 有限クエリからブラックボックス生成モデルへの予測セットの構築, カバレッジ, テスト時間クエリ予算, 情報化の新たなトレードオフを導入する。 我々は、これらの目的間の最適な相互作用を特徴付けるフレームワークである、クエリOracle (CPQ) によるコンフォーマル予測を導入する。 我々の有限サンプルアルゴリズムは2つの基本原理に基づいて構築されている: 1つは最適なクエリポリシーを統治し、もう1つはクエリされたサンプルから予測セットへの最適マッピングを定義する。 注目すべきは、どちらも統計学における古典的な欠落した質量問題に根ざしていることである。 具体的には、最適クエリポリシーは、新しい推定器を開発するための欠落質量の崩壊率、あるいは導関数の速度に依存する。 一方、最適写像のヒンジは、良いチューリング推定器を用いて推定する、欠落質量そのものに基づいている。 次に、アウトプットが広く、可変で、しばしば指定されていない言語モデルのためのメソッドの実装に重点を置きます。 3つの実世界のオープンエンドタスクと2つのLLMに関するきめ細かい実験は、CPQがどのブラックボックスLLMにも適用可能であることを示す。

関連論文リスト

• Random-Set Large Language Models [4.308457163593758]
  大規模言語モデル(LLM)は、クエリに対する非常に高品質なテストとレスポンスを生成することで知られています。 しかし、この生成されたテキストはいくら信用できますか? 本稿では,トークン空間上の有限ランダム集合(関数)を予測するランダムセット大言語モデル(RSLLM)を提案する。
  論文  参考訳（メタデータ） (2025-04-25T05:25:27Z)
• Optimal Transport-based Conformal Prediction [8.302146576157497]
  コンフォーマル予測(CP)は、ブラックボックス学習モデルにおける不確実性のための原則化されたフレームワークである。 レンズを通して予測スコア関数を処理する新しいCPプロシージャを提案する。 次に,マルチ出力回帰とマルチクラス分類の定量化に本手法を適用した。
  論文  参考訳（メタデータ） (2025-01-31T09:48:28Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Learning-Based Approaches to Predictive Monitoring with Conformal Statistical Guarantees [2.1684857243537334]
  本チュートリアルは、予測モニタリング(PM)のための効率的な手法に焦点を当てている。 PMは、システムの現在の状態から与えられた要件の将来の違反を検出する問題である。 CPSの予測モニタリングに対する我々のアプローチを要約した、汎用的で包括的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T15:16:42Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis [120.9545643534454]
  パイプラインは校正誤差を最小限に抑えることが重要であり、特に安全クリティカルな応用において重要である。 パイプラインの背景には,(1)PLMの選択と(2)サイズ,(3)不確実性定量化器の選択,(4)微調整損失の選択など,さまざまな考察がある。 1) PLM符号化にELECTRAを使用し、(2) 可能であればより大きなPLMを使用し、(3) 不確実性定量化にTemp Scalingを使用し、(4) 微調整にFocal Lossを使用する。
  論文  参考訳（メタデータ） (2022-10-10T14:16:01Z)
• Efficient Conformal Prediction via Cascaded Inference with Expanded Admission [43.596058175459746]
  共形予測(CP)のための新しい手法を提案する。 我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。 この集合は、高い確率で正しい答えを含むことが保証される。
  論文  参考訳（メタデータ） (2020-07-06T23:13:07Z)
• AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
  本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。 最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。 さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T23:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。