論文の概要: E-Scores for (In)Correctness Assessment of Generative Model Outputs

• arxiv url: http://arxiv.org/abs/2510.25770v1
• Date: Wed, 29 Oct 2025 17:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.979475
• Title: E-Scores for (In)Correctness Assessment of Generative Model Outputs
• Title（参考訳）: 生成モデル出力の正当性評価のためのEスコア
• Authors: Guneet S. Dhillon, Javier González, Teodora Pandeva, Alicia Curth,
• Abstract要約: 我々はe値を用いて生成モデルの出力をeスコアで補完する。 異なる正当性型に対するLCM出力の評価における有効性について実験的に検証した。
• 参考スコア（独自算出の注目度）: 14.303918797970601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While generative models, especially large language models (LLMs), are ubiquitous in today's world, principled mechanisms to assess their (in)correctness are limited. Using the conformal prediction framework, previous works construct sets of LLM responses where the probability of including an incorrect response, or error, is capped at a desired user-defined tolerance level. However, since these methods are based on p-values, they are susceptible to p-hacking, i.e., choosing the tolerance level post-hoc can invalidate the guarantees. We therefore leverage e-values to complement generative model outputs with e-scores as a measure of incorrectness. In addition to achieving the same statistical guarantees as before, e-scores provide users flexibility in adaptively choosing tolerance levels after observing the e-scores themselves, by upper bounding a post-hoc notion of error called size distortion. We experimentally demonstrate their efficacy in assessing LLM outputs for different correctness types: mathematical factuality and property constraints satisfaction.
• Abstract（参考訳）: 生成モデル、特に大きな言語モデル(LLM)は現代の世界で広く普及しているが、それらの正確性を評価するための原則化されたメカニズムは限られている。 コンフォメーション予測フレームワークを用いて、以前の作業では、誤った応答やエラーを含む確率が、望ましいユーザ定義の許容レベルに制限されるような、LCM応答のセットを構築した。 しかし、これらの手法はp-値に基づいているため、p-ハックの影響を受けやすい。 そこで我々はe値を利用して生成モデルの出力をeスコアで補う。 従来と同じ統計的保証を達成することに加えて、eスコアは、サイズ歪みと呼ばれるポストホックなエラーの概念を上限にすることで、電子スコア自体を観察した後の許容レベルを適応的に選択する柔軟性を提供する。 数学的事実性や特性制約の満足度といった,異なる正当性型のLCM出力を評価する上での有効性を実験的に実証した。

関連論文リスト

• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
  不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。 本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-01T09:13:27Z)
• Suitability Filter: A Statistical Framework for Classifier Evaluation in Real-World Deployment Settings [33.080398349395686]
  適合性信号を利用して性能劣化を検出する新しいフレームワークを提案する。 テストデータとユーザデータの両方に適合する信号を集約し、これらの経験的分布を比較する。 これにより、高スループットアプリケーションにおける潜在的な障害の積極的な緩和が可能となる。
  論文  参考訳（メタデータ） (2025-05-28T13:37:04Z)
• COPU: Conformal Prediction for Uncertainty Quantification in Natural Language Generation [14.461333001997449]
  大規模言語モデル(LLM)の性能評価には,自然言語生成のための不確実性定量化(UQ)が不可欠である。 提案手法は,候補出力に基底真理を明示的に付加し,ロジットスコアを用いて非整合性を測定する手法である。
  論文  参考訳（メタデータ） (2025-02-18T07:25:12Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。