論文の概要: Efficient Hallucination Detection: Adaptive Bayesian Estimation of Semantic Entropy with Guided Semantic Exploration
- arxiv url: http://arxiv.org/abs/2603.22812v1
- Date: Tue, 24 Mar 2026 05:21:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.317869
- Title: Efficient Hallucination Detection: Adaptive Bayesian Estimation of Semantic Entropy with Guided Semantic Exploration
- Title（参考訳）: 効率的な幻覚検出:ガイド付きセマンティック探索によるセマンティックエントロピーの適応ベイズ推定
- Authors: Qiyao Sun, Xingming Li, Xixiang He, Ao Cheng, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu,
- Abstract要約: 本稿では,セマンティック・エントロピーをガイドとした適応ベイズ推定フレームワークを提案する。
提案手法では,階層型ベイズフレームワークを用いて意味分布をモデル化し,サンプリング繰り返しの動的制御を可能にする。
低予算のシナリオでは、既存の手法に匹敵する検出性能を達成するために、我々の手法はサンプルを約50%削減する必要がある。
- 参考スコア（独自算出の注目度）: 13.272542054938258
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) have achieved remarkable success in various natural language processing tasks, yet they remain prone to generating factually incorrect outputs known as hallucinations. While recent approaches have shown promise for hallucination detection by repeatedly sampling from LLMs and quantifying the semantic inconsistency among the generated responses, they rely on fixed sampling budgets that fail to adapt to query complexity, resulting in computational inefficiency. We propose an Adaptive Bayesian Estimation framework for Semantic Entropy with Guided Semantic Exploration, which dynamically adjusts sampling requirements based on observed uncertainty. Our approach employs a hierarchical Bayesian framework to model the semantic distribution, enabling dynamic control of sampling iterations through variance-based thresholds that terminate generation once sufficient certainty is achieved. We also develop a perturbation-based importance sampling strategy to systematically explore the semantic space. Extensive experiments on four QA datasets demonstrate that our method achieves superior hallucination detection performance with significant efficiency gains. In low-budget scenarios, our approach requires about 50% fewer samples to achieve comparable detection performance to existing methods, while delivers an average AUROC improvement of 12.6% under the same sampling budget.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な成功を収めてきたが、幻覚と呼ばれる事実的に誤った出力を生成する傾向にある。
近年のアプローチでは、LLMから繰り返しサンプリングし、生成した応答間の意味的不整合を定量化することで幻覚の検出が期待されているが、それらはクエリの複雑さに適応できない固定されたサンプリング予算に依存しており、計算の非効率をもたらす。
本稿では,観測された不確実性に基づいてサンプリング要求を動的に調整する,ガイド付きセマンティック探索を用いたセマンティックエントロピーの適応ベイズ推定フレームワークを提案する。
提案手法は階層的ベイズ的フレームワークを用いて意味分布をモデル化し,十分な確実性を達成すれば生成を終了する分散ベースしきい値によるサンプリング繰り返しの動的制御を可能にする。
また,意味空間を体系的に探索するために,摂動に基づく重要度サンプリング戦略を開発した。
4つのQAデータセットに対する大規模な実験により,本手法は優れた幻覚検出性能と高い効率向上を達成できることを示した。
低予算のシナリオでは、既存の手法に匹敵する検出性能を達成するためにサンプルを約50%削減し、同じサンプリング予算の下で平均12.6%のAUROC改善を提供する。
関連論文リスト
- G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Preemptive Hallucination Reduction: An Input-Level Approach for Multimodal Language Model [1.124958340749622]
本研究では,最も適切なフィルタリング手法を適応的に選択する,アンサンブルに基づく新しい前処理フレームワークを提案する。
この手法は、自然言語推論(NLI)スコアによって測定された幻覚率を44.3%削減する。
この結果は、幻覚を緩和し、より信頼性の高いマルチモーダルシステムを実現するための適応的前処理技術の重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-05-29T21:09:34Z) - On the Effect of Sampling Diversity in Scaling LLM Inference [57.31028064284527]
大規模言語モデル(LLM)のスケーリング推論は、パフォーマンス向上の鍵となる。
解の精度と応答の有意な多様性の関係から,スケーリング推論における急激な多様性の効果を体系的に研究した。
また,Best-of-N$選択後の有意義な多様なプロンプトから生成した応答は,定常的なプロンプトから生成した応答よりも有意に低い値を示した。
論文 参考訳（メタデータ） (2025-02-16T07:37:58Z) - Probe-Free Low-Rank Activation Intervention [26.502232859901167]
隠れたアクティベーションを編集する推論時間の介入は、望ましい世代に向けてLMを操る有望な結果を示している。
本稿では,特定のアクティベーション層内のすべての注意点に対するプローブフリー干渉法FLORAINを提案する。
論文 参考訳（メタデータ） (2025-02-06T13:03:05Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。
本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。
既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
論文 参考訳（メタデータ） (2024-07-25T09:53:12Z) - Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs [32.901839335074676]
幻覚は、大規模言語モデルの導入において大きな課題となる。
Farquhar et al. (2024) による最近の研究はセマンティックエントロピー (SE) を提案している。
本稿では, 単一世代の隠蔽状態から直接SEを近似するSEPを提案する。
論文 参考訳（メタデータ） (2024-06-22T19:46:06Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。