論文の概要: SConU: Selective Conformal Uncertainty in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.14154v1
• Date: Sat, 19 Apr 2025 03:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 04:39:28.048672
• Title: SConU: Selective Conformal Uncertainty in Large Language Models
• Title（参考訳）: SConU: 大規模言語モデルにおける選択的コンフォーマル不確実性
• Authors: Zhiyuan Wang, Qingni Wang, Yue Zhang, Tianlong Chen, Xiaofeng Zhu, Xiaoshuang Shi, Kaidi Xu,
• Abstract要約: SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
• 参考スコア（独自算出の注目度）: 59.25881667640868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models are increasingly utilized in real-world applications, guarantees of task-specific metrics are essential for their reliable deployment. Previous studies have introduced various criteria of conformal uncertainty grounded in split conformal prediction, which offer user-specified correctness coverage. However, existing frameworks often fail to identify uncertainty data outliers that violate the exchangeability assumption, leading to unbounded miscoverage rates and unactionable prediction sets. In this paper, we propose a novel approach termed Selective Conformal Uncertainty (SConU), which, for the first time, implements significance tests, by developing two conformal p-values that are instrumental in determining whether a given sample deviates from the uncertainty distribution of the calibration set at a specific manageable risk level. Our approach not only facilitates rigorous management of miscoverage rates across both single-domain and interdisciplinary contexts, but also enhances the efficiency of predictions. Furthermore, we comprehensively analyze the components of the conformal procedures, aiming to approximate conditional coverage, particularly in high-stakes question-answering tasks.
• Abstract（参考訳）: 大規模言語モデルが現実世界のアプリケーションでますます活用されているため、タスク固有のメトリクスの保証は、信頼性の高いデプロイメントに不可欠である。 従来の研究は、ユーザが特定した正当性カバレッジを提供する分割共形予測に基礎を置く共形不確かさの様々な基準を導入してきた。 しかし、既存のフレームワークは、交換可能性の仮定に反する不確実なデータ不確実性を特定することができず、非有界な発見率と非作用予測セットに繋がる。 本稿では,SconU(Selective Conformal Uncertainty)と呼ばれる新しい手法を提案する。この手法は,特定の管理可能なリスクレベルにおけるキャリブレーションセットの不確実性分布から,与えられたサンプルが逸脱するか否かを判断する上で有効な2つの共形p値を開発することで,初めて重要なテストを実施する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。 さらに,コンフォメーション・プロシージャの構成要素を包括的に分析し,条件付きカバレッジを近似することを目的とした。

関連論文リスト

• Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
  本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。 本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
  論文  参考訳（メタデータ） (2025-02-22T19:54:14Z)
• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• Generative Conformal Prediction with Vectorized Non-Conformity Scores [6.059745771017814]
  コンフォーマル予測は、保証されたカバレッジでモデルに依存しない不確実性定量化を提供する。 ベクトル化された非整合性スコアを持つ生成共形予測フレームワークを提案する。 我々は密度ランクの不確かさ球を用いた適応不確かさ集合を構築する。
  論文  参考訳（メタデータ） (2024-10-17T16:37:03Z)
• On Information-Theoretic Measures of Predictive Uncertainty [5.8034373350518775]
  その重要性にも拘わらず、予測の不確実性の正しい測定に関するコンセンサスはいまだに解明されていない。 提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。 本研究では, 誤分類検出, 選択的予測, アウト・オブ・ディストリビューション検出など, 典型的な不確実性推定設定において, これらの指標を実証的に評価する。
  論文  参考訳（メタデータ） (2024-10-14T17:52:18Z)
• Beyond Conformal Predictors: Adaptive Conformal Inference with Confidence Predictors [0.0]
  コンフォーマル予測は、ユーザ指定の重要度レベルで有効な予測セットを保証するために、交換可能なデータを必要とする。 適応共形推論 (Adaptive conformal inference, ACI) は、この制限に対処するために導入された。 我々は、ACIが共形予測器を必要とせず、より一般的な信頼性予測器で実装可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-23T21:02:33Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Quantifying Aleatoric and Epistemic Uncertainty with Proper Scoring Rules [19.221081896134567]
  不確実性表現と定量化は機械学習において最重要である。 本稿では,適切なスコアリングルールに基づいて,アレータリックおよび(現状)不確実性の定量化のための尺度を提案する。
  論文  参考訳（メタデータ） (2024-04-18T14:20:19Z)
• Adaptive Bounding Box Uncertainties via Two-Step Conformal Prediction [44.83236260638115]
  我々は共形予測を利用してオブジェクト境界ボックスのカバレッジを保証した不確実区間を求める。 これを行う上での課題のひとつは、オブジェクトのクラスラベルにバウンディングボックスの予測が条件付けられていることだ。 本研究では,予測されたクラスラベルの不確かさを,境界ボックスの不確かさ間隔に伝播させる新しい2段階コンフォメーション手法を開発する。
  論文  参考訳（メタデータ） (2024-03-12T02:45:24Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Conformal Prediction with Large Language Models for Multi-Choice Question Answering [7.049780432343948]
  共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。 この研究は、安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
  論文  参考訳（メタデータ） (2023-05-28T15:26:10Z)
• Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection [78.24964622317634]
  本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。 不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。 本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
  論文  参考訳（メタデータ） (2022-02-25T12:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。