論文の概要: Credal Large Language Models for Semantic Commitment under Uncertainty

• arxiv url: http://arxiv.org/abs/2608.23244v1
• Date: Mon, 24 Aug 2026 13:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.119606
• Title: Credal Large Language Models for Semantic Commitment under Uncertainty
• Title（参考訳）: 不確実性下におけるセマンティック・コミットのためのクレダル大言語モデル
• Abstract要約: 大規模言語モデル (LLM) は、しばしば不確実な自信を持って、流動的だが誤った答えを生み出す。 Credal Large Language Models (CLLMs) は、より低い確率と高い確率で予測可能な分布が広がるクレダル集合を誘導する。 我々は, OpenBookQA, CoQA, TriviaQA, ARC-ChallengeでGemma-2-9B, Llama-3.1-8B, Qwen2.5-7Bの幻覚検出, 校正, 選択的予測, 推論を評価した。
• 参考スコア（独自算出の注目度）: 7.18839452757154
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) often produce fluent but incorrect answers with unwarranted confidence. A central limitation is that standard LLMs represent uncertainty through a single predictive distribution, conflating epistemic ignorance with genuine ambiguity. We introduce Credal Large Language Models (CLLMs): an ensemble of LoRA adapters induces a credal set whose lower and upper probabilities expose the spread of plausible predictive distributions rather than collapsing to a single softmax output. From this representation we derive two complementary commitment scores. Credal Token Commitment (CTC) is a token-space score that combines lower-bound support, credal width, and intersection entropy, computed without additional generation. Semantic Commitment Consistency (SCC) extends commitment to semantic space using sampled completions, with SCC-Gap measuring the mismatch between token-level and semantic-level support. We evaluate hallucination detection, calibration, selective prediction, and reasoning on Gemma-2-9B, Llama-3.1-8B, and Qwen2.5-7B across OpenBookQA, CoQA, TriviaQA, and ARC-Challenge. CLLM is the best method on QA accuracy at competitive expected calibration error, and CTC tracks the best hallucination AUROC within 1.5 pp on most settings without additional generation. On selective prediction at 80% coverage, CLLM with SCC reaches 99.0% accuracy on OpenBookQA, and on ARC-Challenge CLLM with Csem confidence achieves <= 0.6% ECE across the three backbones.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、しばしば不確実な自信を持って、流動的だが誤った答えを生み出す。 中心的な制限は、標準LLMが単一の予測分布を通じて不確実性を表現し、真の曖昧さと認識的無知を混同することである。 CLLM(Credal Large Language Models)を導入し,LoRAアダプタのアンサンブルは,単一ソフトマックス出力に折り畳むのではなく,高い確率と高い確率で予測可能な分布の広がりを表わすクレダルセットを誘導する。 この表現から2つの相補的なコミットメントスコアを導出します。 Credal Token Commitment (CTC) は、追加生成なしで計算される低バウンドサポート、クレダル幅、交叉エントロピーを組み合わせたトークン空間スコアである。 Semantic Commitment Consistency (SCC) は、トークンレベルとセマンティックレベルのサポートのミスマッチを測定することで、サンプル補完を使用してセマンティックスペースへのコミットメントを拡張する。 我々は, OpenBookQA, CoQA, TriviaQA, ARC-ChallengeでGemma-2-9B, Llama-3.1-8B, Qwen2.5-7Bの幻覚検出, 校正, 選択的予測, 推論を評価した。 CLLMは、競合期待校正誤差におけるQA精度の最良の方法であり、CTCは、追加生成のないほとんどの設定において、1.5pp以内の最高の幻覚AUROCを追跡する。 80%のカバレッジでの選択的予測では、SCCのCLLMはOpenBookQAで99.0%の精度に達し、ARC-ChallengeのCLLMではCsemの信頼性で3つのバックボーンで0.6%のECEを達成した。

関連論文リスト

• Conformal Cascade: Distribution-Free Accuracy Guarantees for Multi-Tier LLM Inference [6.094431019524038]
  大規模言語モデル(LLM)のカスケードは、簡単なクエリを小さなモデルにルーティングし、ハードクエリを大きなモデルに遅延することで、推論コストを削減する。 我々は,多層推論フレームワークであるtextbfConformal Cascade (CC) を導入する。
  論文  参考訳（メタデータ） (2026-07-27T19:19:58Z)
• When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation [0.11280931253550518]
  構造化世代 (NER, 抽出, QA, 分類) にデプロイされる大規模言語モデル (LLM) には、正式な信頼性保証がない。 我々は、共形リスク制御(CRC)が構造化LLM出力を証明でき、かつ、それが証明不可能な場合に特徴付ける。
  論文  参考訳（メタデータ） (2026-06-27T19:25:07Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Conditional Factuality Controlled LLMs with Generalization Certificates via Conformal Sampling [7.974834731988445]
  大規模言語モデル(LLM)のためのemphConditional Factuality Control (CFC)を提案する。 CFCは、潜在成功率のスコアに対する拡張量子レグレッションを通じて、連続的かつ特徴条件の受け入れしきい値を定義する。 我々はCFCが交換性の下で条件付きカバレッジを保証することを示し、その短命性を分析する。 PAC方式の変種であるCFC-PACを導出し、安定性のバウンダリに基づいて名目リスクレベルを縮小する。
  論文  参考訳（メタデータ） (2026-03-28T20:48:13Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• Beyond the Score: Uncertainty-Calibrated LLMs for Automated Essay Assessment [11.525382140783043]
  この研究は、エッセイ評価のための共形予測とUAccを組み合わせたものである。 信頼性は、正確かつ簡潔なモデルに報いる不確実性を認識した精度であるUAccで評価される。 オープンソースで中規模のLLMは、既に教師・イン・ザ・ループのAESをサポートしています。
  論文  参考訳（メタデータ） (2025-09-19T12:28:50Z)
• N2C2: Nearest Neighbor Enhanced Confidence Calibration for Cross-Lingual In-Context Learning [49.42251584116942]
  我々は、言語間シナリオのための文脈内学習(ICL)を徹底的に分析する。 ICLは言語横断のシナリオでは性能が悪く、精度が低く、校正誤差が高い。 そこで我々は,N2C2という新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T10:05:05Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。