論文の概要: Embedding Graph Kernel Entropy (EGKE): Fine-grained Hallucination Detection for LLMs from Embeddings
- arxiv url: http://arxiv.org/abs/2610.14214v1
- Date: Fri, 09 Oct 2026 18:27:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 22:32:40.743598
- Title: Embedding Graph Kernel Entropy (EGKE): Fine-grained Hallucination Detection for LLMs from Embeddings
- Title（参考訳）: グラフカーネルエントロピー(EGKE: Embedding Graph Kernel Entropy) : 埋め込みからLLMの微細な幻覚検出
- Abstract要約: 幻覚検出は、現実世界のデプロイメントにおいて、LLM(Large Language Models)の信頼性を保証するために重要である。
我々は,NLI由来のセマンティックグラフを,高密度文埋め込みに適用したラジアル基底関数(RBF)カーネルに置き換える埋め込みグラフカーネルエントロピー(EGKE)を提案する。
連続埋め込み空間における類似性を直接計算することにより、提案手法はNLIに基づくセマンティック比較の対称的で効率的な代替手段を提供する。
- 参考スコア（独自算出の注目度）: 0.9460467369122011
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Hallucination detection is critical for ensuring the reliability of Large Language Models (LLMs) in real-world deployments. While recent works, such as Semantic Entropy (SE) and Kernel Language Entropy (KLE), identify hallucinations by measuring semantic disagreement across multiple generated responses using Natural Language Inference (NLI) models, these methods depend on separately loaded NLI classifiers to estimate pairwise semantic similarity, introducing significant computational overhead. We propose Embedding Graph Kernel Entropy (EGKE), a variant of Kernel Language Entropy (KLE) that replaces its NLI-derived semantic graph with a Radial Basis Function (RBF) kernel applied to dense sentence embeddings generated by a BGE embedding model, while retaining KLE's graph Laplacian, heat kernel, and von Neumann entropy formulation unchanged. By computing similarities directly in a continuous embedding space, the proposed method provides a symmetric and computationally efficient alternative to NLI-based semantic comparison. We evaluate our approach across 30 experimental setups (covering multiple question-answer datasets and open-weight LLM families) using both AUROC and AUARC, and demonstrate that this RBF-based method achieves competitive hallucination detection performance against state-of-the-art methods.
- Abstract（参考訳）: 幻覚検出は、現実世界のデプロイメントにおいて、LLM(Large Language Models)の信頼性を保証するために重要である。
セマンティック・エントロピー (SE) やカーネル言語エントロピー (KLE) といった最近の研究は、自然言語推論 (NLI) モデルを用いて複数の生成した応答のセマンティックな不一致を測定することによって幻覚を識別するが、これらの手法は、ペアワイズ・セマンティックな類似性を推定するために、別々にロードされたNLI分類器に依存しており、計算オーバーヘッドが大きい。
我々は、KLEのグラフラプラシアン、熱核、フォン・ノイマンエントロピーの定式化をそのまま維持しつつ、そのNLI由来のセマンティックグラフを、BGE埋め込みモデルによって生成された密集文埋め込みに適用するRBFカーネルに置き換える、ケルネル言語エントロピー(KLE)の変種であるEmbding Graph Kernel Entropy(EGKE)を提案する。
連続埋め込み空間における類似性を直接計算することにより、提案手法はNLIに基づくセマンティック比較の対称的で効率的な代替手段を提供する。
我々は,AUROCとAUARCの両方を用いて,30種類の実験装置(複数問合せデータセットとオープンウェイトLLMファミリー)のアプローチを評価し,このRBFに基づく手法が最先端手法に対する競合幻覚検出性能を実現することを実証した。
関連論文リスト
- Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders [0.4473327661758546]
カーネルベース辞書学習(EDMD-kDL)による拡張動的モード分解を導入する。
EDMD-kDLは、データから直接有限次元のクープマン埋め込みを学習するためのカーネルベースの手法である。
EDMD-kDL を最先端の ANN ベースアプローチと比較し,様々な数値実験を行った。
論文 参考訳（メタデータ） (2026-10-08T17:30:23Z) - Light Entropic Optimal Transport on Riemannian Manifolds [55.9948708526853]
ManifoldLightOTは、カーネルが誘起するEOT結合を共通多様体上で直接学習するためのライトアプローチである。
ManifoldLightOT は直接サンプリングを維持しながら,既存の OT 法より優れていることを示す。
論文 参考訳（メタデータ） (2026-10-02T10:04:43Z) - Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback [56.69850045068714]
逐次的2段階プロセスとして方程式発見をフレーム化する方法である textitInfluence-Guided Regression (IGSR) を導入する。
LLM-SRBench, 薬理学的PKPDモデル, 疫学シミュレーション, 実世界のゲノムデータなど, IGSRの有効性を示す。
論文 参考訳（メタデータ） (2026-05-27T23:48:01Z) - Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection [31.935824861650005]
幻覚検出は、大規模言語モデルの信頼性を向上させるためにますます重要になっている。
近年,MIL(Multiple Instance Learning)による内部モデル状態とセマンティック一貫性を組み合わせたHaMIのようなハイブリッドアプローチが,最先端のパフォーマンスを実現している。
本研究では,まず,決定マージンの観点からHaMIの理論的解析を行い,内部状態を意味的整合性で拡張すると決定マージンが大きくなることを示した。
論文 参考訳（メタデータ） (2026-05-09T10:30:30Z) - ReDiSC: A Reparameterized Masked Diffusion Model for Scalable Node Classification with Structured Predictions [64.17845687013434]
本稿では,構造化ノード分類のための構造拡散モデルであるReDiSCを提案する。
本稿では,ReDiSCが最先端のGNN,ラベル伝搬,拡散ベースラインと比較して,優れた,あるいは高い競争力を発揮することを示す。
特にReDiSCは、従来の構造化拡散法が計算制約によって失敗する大規模データセットに効果的にスケールする。
論文 参考訳（メタデータ） (2025-07-19T04:46:53Z) - Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。
近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。
本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。
複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
論文 参考訳（メタデータ） (2025-02-19T12:07:53Z) - MIK: Modified Isolation Kernel for Biological Sequence Visualization, Classification, and Clustering [3.9146761527401424]
本研究は,ガウスカーネルの代替として,改良分離カーネル (MIK) と呼ばれる新しいアプローチを提案する。
MIKは適応密度推定を用いて局所構造をより正確に捉え、ロバストネス対策を統合する。
局所的および大域的な構造の保存を改善し、組込み空間におけるクラスタとサブクラスタのより良い可視化を可能にする。
論文 参考訳（メタデータ） (2024-10-21T06:57:09Z) - Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。
本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
論文 参考訳（メタデータ） (2024-08-02T15:00:05Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding
problem [7.132368785057316]
本稿では、LASSOに基づく効率的なMSC解法を用いて、辞書に基づく行列分解と正準多進分解を計算する方法を示す。
超スペクトル画像処理と化学計測の文脈における辞書に基づく行列分解と正準多進分解の計算に、LASSOに基づく効率的なMSC解法を適用する方法を示す。
論文 参考訳（メタデータ） (2021-11-24T10:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。