論文の概要: Mind the Unseen Mass: Unmasking LLM Hallucinations via Soft-Hybrid Alphabet Estimation
- arxiv url: http://arxiv.org/abs/2604.19162v1
- Date: Tue, 21 Apr 2026 07:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.665986
- Title: Mind the Unseen Mass: Unmasking LLM Hallucinations via Soft-Hybrid Alphabet Estimation
- Title（参考訳）: Mind the Unseen Mass:Soft-Hybrid Alphabetの推定によるLLM幻覚を解き明かす
- Abstract要約: ブラックボックスアクセス下の大規模言語モデルの不確実性定量化について検討する。
効果的な意味的アルファベットサイズ - すなわち、サンプルされた応答で表される異なる意味の数 - を推定すると、下流のリスクに有用なプロキシを提供する。
そこで我々は,Good-Turingカバレッジと正規化ラプラシアンの熱カーネルトレースを組み合わせた簡易かつ解釈可能な推定器SHADEを提案する。
- 参考スコア（独自算出の注目度）: 1.1230191950153754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies uncertainty quantification for large language models (LLMs) under black-box access, where only a small number of responses can be sampled for each query. In this setting, estimating the effective semantic alphabet size--that is, the number of distinct meanings expressed in the sampled responses--provides a useful proxy for downstream risk. However, frequency-based estimators tend to undercount rare semantic modes when the sample size is small, while graph-spectral quantities alone are not designed to estimate semantic occupancy accurately. To address this issue, we propose SHADE (Soft-Hybrid Alphabet Dynamic Estimator), a simple and interpretable estimator that combines Generalized Good-Turing coverage with a heat-kernel trace of the normalized Laplacian constructed from an entailment-weighted graph over sampled responses. The estimated coverage adaptively determines the fusion rule: under high coverage, SHADE uses a convex combination of the two signals, while under low coverage it applies a LogSumExp fusion to emphasize missing or weakly observed semantic modes. A finite-sample correction is then introduced to stabilize the resulting cardinality estimate before converting it into a coverage-adjusted semantic entropy score. Experiments on pooled semantic alphabet-size estimation against large-sample references and on QA incorrectness detection show that SHADE achieves the strongest improvements in the most sample-limited regime, while the performance gap narrows as the number of samples increases. These results suggest that hybrid semantic occupancy estimation is particularly beneficial when black-box uncertainty quantification must operate under tight sampling budgets.
- Abstract（参考訳）: 本稿では,ブラックボックスアクセスにおける大規模言語モデル (LLM) の不確実性定量化について検討する。
この設定では、効果的な意味的アルファベットサイズ、すなわち、サンプルされた応答で表される異なる意味の数を推定し、下流のリスクに有用なプロキシを提供する。
しかし、周波数ベースの推定器はサンプルサイズが小さい場合、稀な意味的モードを過小評価する傾向があるが、グラフスペクトル量だけでは意味的占有度を正確に推定するように設計されていない。
この問題に対処するため,本論文では,一般化グッドチューリングカバレッジと,サンプル応答上のエンテーメント重み付きグラフから構築した正規化ラプラシアンの熱カーネルトレースを組み合わせた簡易かつ解釈可能な推定器であるSHADE(Soft-Hybrid Alphabet Dynamic Estimator)を提案する。
高カバレッジでは、SHADEは2つの信号の凸結合を使用し、低カバレッジでは、不足または弱い観察されたセマンティックモードを強調するためにLogSumExp融合を適用する。
有限サンプル補正を導入して、その結果の濃度推定を安定させ、それをカバレッジ調整されたセマンティックエントロピースコアに変換する。
大規模なサンプル参照に対する意味的アルファベットサイズ推定とQA誤検出の実験により、SHADEはサンプル数の増加とともに性能ギャップが狭まる一方、最も制限されたレシエーションにおいて最強の改善を達成していることが示された。
これらの結果は,ブラックボックスの不確実性定量化が厳密なサンプリング予算の下で動作しなければならない場合に,ハイブリッドなセマンティック占有率推定が特に有用であることを示唆している。
関連論文リスト
- Sample Complexities of Estimating Gumbel--Max Watermark Proportions with and without Reduction to Pivotal Statistics [4.346179456029564]
透かしは、大きな言語モデル(LLM)が使用する統計的トレーサビリティを約束するが、実際の文書は、純粋に人間書きか純粋にLLM生成として現れることは滅多にない。
我々は,この透かし比推定問題をGumbel-max透かし機構を用いて検討した。
我々はLaguerre-polynomial estimatorを開発し、サンプルの複雑さに一致する情報理論の下限を確立する。
論文 参考訳（メタデータ） (2026-06-30T22:04:35Z) - Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。
両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。
我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
論文 参考訳（メタデータ） (2026-06-07T02:35:56Z) - Efficient semantic uncertainty quantification in language models via diversity-steered sampling [46.23327887393273]
本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。
主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。
モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
論文 参考訳（メタデータ） (2025-10-24T10:06:21Z) - Estimating Semantic Alphabet Size for LLM Uncertainty Quantification [12.029394705620724]
意味エントロピー推定のための改良された意味的アルファベットサイズ推定器を提案する。
サンプルカバレッジに個別の意味エントロピーを調整するために使用すると、より正確な意味エントロピー推定が得られる。
提案するアルファベットサイズ推定器フラグは,近年の上位性能のアプローチよりも,誤ったLDM応答を推定する。
論文 参考訳（メタデータ） (2025-09-17T23:16:39Z) - Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。
本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。
提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
論文 参考訳（メタデータ） (2025-09-16T17:16:01Z) - Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。
本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文 参考訳（メタデータ） (2025-01-15T04:09:21Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。
核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
論文 参考訳（メタデータ） (2024-06-11T21:44:49Z) - Conformal Language Modeling [61.94417935386489]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳（メタデータ） (2023-06-16T21:55:08Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。