論文の概要: Efficient semantic uncertainty quantification in language models via diversity-steered sampling

• arxiv url: http://arxiv.org/abs/2510.21310v1
• Date: Fri, 24 Oct 2025 10:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.433596
• Title: Efficient semantic uncertainty quantification in language models via diversity-steered sampling
• Title（参考訳）: 多様性を考慮したサンプリングによる言語モデルの効率的な意味的不確実性定量化
• Authors: Ji Won Park, Kyunghyun Cho,
• Abstract要約: 本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。 主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。 モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
• 参考スコア（独自算出の注目度）: 46.23327887393273
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurately estimating semantic aleatoric and epistemic uncertainties in large language models (LLMs) is particularly challenging in free-form question answering (QA), where obtaining stable estimates often requires many expensive generations. We introduce a diversity-steered sampler that discourages semantically redundant outputs during decoding, covers both autoregressive and masked diffusion paradigms, and yields substantial sample-efficiency gains. The key idea is to inject a continuous semantic-similarity penalty into the model's proposal distribution using a natural language inference (NLI) model lightly finetuned on partial prefixes or intermediate diffusion states. We debias downstream uncertainty estimates with importance reweighting and shrink their variance with control variates. Across four QA benchmarks, our method matches or surpasses baselines while covering more semantic clusters with the same number of samples. Being modular and requiring no gradient access to the base LLM, the framework promises to serve as a drop-in enhancement for uncertainty estimation in risk-sensitive model deployments.
• Abstract（参考訳）: 大規模言語モデル(LLMs)における意味的アレター的および認識的不確かさの正確な推定は、安定推定を得るためには、しばしば多くの高価な世代を必要とする自由形式の質問応答(QA)において特に困難である。 本稿では,デコード中に意味的に冗長な出力を回避し,自己回帰的およびマスキング的拡散パラダイムの両方をカバーし,かなりのサンプル効率向上をもたらすダイバーシティステアリング・サンプリング手法を提案する。 キーとなるアイデアは、部分的なプレフィックスや中間拡散状態に微調整された自然言語推論(NLI)モデルを用いて、モデルの提案分布に連続的な意味類似性ペナルティを注入することである。 我々は、重要度を再重み付けした下流の不確実性推定をデバイアス化し、制御変数による分散を縮小する。 4つのQAベンチマークで、我々のメソッドは、同じ数のサンプルでより多くのセマンティッククラスタをカバーしながら、ベースラインと一致またはオーバーします。 モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、フレームワークはリスクに敏感なモデルデプロイメントにおける不確実性評価のドロップイン強化として機能することを約束している。

関連論文リスト

• Mapping from Meaning: Addressing the Miscalibration of Prompt-Sensitive Language Models [39.05891782057066]
  大規模言語モデル(LLM)における即時感度について検討する。 パラフレージング摂動による「意味概念空間のサンプリング」は、精度を損なうことなく不確実性校正を改善することを示す。
  論文  参考訳（メタデータ） (2025-10-19T22:28:57Z)
• Semantic Reformulation Entropy for Robust Hallucination Detection in QA Tasks [13.230578301939907]
  既存のエントロピーに基づくセマンティックレベルの不確実性推定法は,可変長解のサンプリングノイズと不安定クラスタリングによって制限される。 本稿では2つの方法で不確実性評価を改善するセマンティック・リフォーム・エントロピー(SRE)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T07:38:45Z)
• Simple Yet Effective: An Information-Theoretic Approach to Multi-LLM Uncertainty Quantification [9.397157329808254]
  MUSEは、大規模言語モデルのよく校正されたサブセットを特定し、集約するための単純な情報理論手法である。 二分予測タスクの実験では、単一モデルとナイーブアンサンブルベースラインと比較してキャリブレーションと予測性能が改善された。
  論文  参考訳（メタデータ） (2025-07-09T19:13:25Z)
• Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
  大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。 本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T04:41:46Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。