論文の概要: S-EDL: Eliciting Self-Evidence from Sequence Likelihoods for Semantic Calibration of LLMs

• arxiv url: http://arxiv.org/abs/2610.29832v1
• Date: Wed, 21 Oct 2026 14:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.38725
• Title: S-EDL: Eliciting Self-Evidence from Sequence Likelihoods for Semantic Calibration of LLMs
• Title（参考訳）: S-EDL:LLMのセマンティック校正のためのシーケンス類似から自己エビデンスを除去する
• Abstract要約: セマンティックキャリブレーションのための大規模言語モデルを最適化する新しい明示的手法であるS-EDLを紹介する。 S-EDLは、プロンプト固有のセマンティッククラスよりも先に微分可能なディリクレを構成する。 S-EDLは,精度を向上しつつ,意味的校正誤差を大幅に低減することを示す。
• 参考スコア（独自算出の注目度）: 34.84613602121803
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Calibrating large language models (LLMs) in open-ended generation is uniquely challenging because many distinct token sequences can express the same underlying meaning. Prior calibration techniques target either fixed-set classification confidence or the binary correctness of individual strings, making them inherently ill-suited for the dynamic, multi-string nature of open-ended semantic outcomes. To bridge this gap, we introduce S-EDL, a novel evidential method that natively optimizes LLMs for semantic calibration. By eliciting evidence from the sequence likelihoods of the model itself, S-EDL constructs a differentiable Dirichlet prior over prompt-specific semantic classes. Optimizing the evidential loss under this prior yields a calibration-aware training signal over variable semantic classes, completely bypassing the need for fixed multiple-choice options. Evaluations across four open-ended benchmarks and three models demonstrate that S-EDL substantially reduces semantic calibration error while improving accuracy. By aligning generative likelihoods with semantic correctness, this work establishes a framework for deploying trustworthy LLMs in complex, open-ended applications. Code is available at: https://github.com/sandylaker/s-edl.
• Abstract（参考訳）: 大規模言語モデル(LLM)をオープンエンド世代で校正することは、多くの異なるトークンシーケンスが同じ意味を表現できるため、一意に困難である。 事前のキャリブレーション手法は、固定セットの分類の信頼性または個々の文字列のバイナリの正当性のいずれかをターゲットにしており、オープンエンドセマンティックな結果の動的でマルチストリングな性質に本質的に不適合である。 このギャップを埋めるために, セマンティックキャリブレーションのためにLLMをネイティブに最適化する新しい明示的手法であるS-EDLを導入する。 S-EDLはモデル自体のシーケンス可能性からエビデンスを引き出すことにより、プロンプト固有のセマンティッククラスよりも先に微分可能なディリクレを構成する。 この事前条件下での明らかな損失を最適化すると、可変セマンティッククラスに対する校正対応のトレーニング信号が得られ、固定された複数選択オプションの必要性を完全に回避する。 4つのオープンエンドベンチマークと3つのモデルによる評価により、S-EDLはセマンティックキャリブレーション誤差を大幅に低減し、精度を向上することが示された。 この研究は、生成可能性と意味的正しさを整合させることで、複雑でオープンなアプリケーションに信頼できるLLMをデプロイするための枠組みを確立する。 コードは、https://github.com/sandylaker/s-edl.comで入手できる。

関連論文リスト

• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• SpecAlign: A Semantic Alignment Framework for SystemVerilog Assertion Generation [6.0174402828965725]
  SpecAlignはSystemVerilog Assertionのセマンティック評価と洗練のためのフレームワークである。 我々は,SpecAlignが意味的不整合を効果的に検出し,黄金のRTLに頼ることなくアサーションアライメントを改善することを示す。
  論文  参考訳（メタデータ） (2026-05-24T17:22:09Z)
• Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
  ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。 我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
  論文  参考訳（メタデータ） (2026-01-29T10:16:23Z)
• Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes [60.75226150503949]
  本稿では,解答埋め込みの幾何学的構造を解析し,意味的不確実性を定量化するベイズ的枠組みを提案する。 S GPUは、生成した回答を密接なセマンティック空間にマッピングし、セマンティック埋め込みのグラム行列を計算し、セマンティック構成を要約する。 我々は,SGPUがモデルとモダリティをまたいで転送されることを示し,そのスペクトル表現が意味的不確実性の一般的なパターンを捉えていることを示す。
  論文  参考訳（メタデータ） (2025-12-16T08:15:24Z)
• Simple Yet Effective: An Information-Theoretic Approach to Multi-LLM Uncertainty Quantification [9.397157329808254]
  MUSEは、大規模言語モデルのよく校正されたサブセットを特定し、集約するための単純な情報理論手法である。 二分予測タスクの実験では、単一モデルとナイーブアンサンブルベースラインと比較してキャリブレーションと予測性能が改善された。
  論文  参考訳（メタデータ） (2025-07-09T19:13:25Z)
• Set-LLM: A Permutation-Invariant LLM [2.9665130256021]
  本論文は,大規模言語モデル(LLM)の順序感度という,特定の脆弱性によって動機付けられている。 本研究では,事前学習型LLMに対する新しいアーキテクチャ適応であるSet-LLMを導入し,置換不変性を保証する混合集合文入力の処理を可能にする。
  論文  参考訳（メタデータ） (2025-05-21T12:14:26Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Order-Independence Without Fine Tuning [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。