論文の概要: Lie to Me: Knowledge Graphs for Robust Hallucination Self-Detection in LLMs
- arxiv url: http://arxiv.org/abs/2512.23547v1
- Date: Mon, 29 Dec 2025 15:41:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.562464
- Title: Lie to Me: Knowledge Graphs for Robust Hallucination Self-Detection in LLMs
- Title(参考訳): Lie to Me:LLMにおけるロバスト幻覚自己検出のための知識グラフ
- Authors: Sahil Kale, Antonio Luca Alfeo,
- Abstract要約: 本研究では,幻覚の自己検出を改善するため,構造化知識表現,すなわち知識グラフの利用について検討する。
この結果から,LLMは知識グラフとして構造化された原子の事実をよりよく解析できることがわかった。
この低コストでモデルに依存しないアプローチは、より安全で信頼性の高い言語モデルへの道を開く。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Hallucinations, the generation of apparently convincing yet false statements, remain a major barrier to the safe deployment of LLMs. Building on the strong performance of self-detection methods, we examine the use of structured knowledge representations, namely knowledge graphs, to improve hallucination self-detection. Specifically, we propose a simple yet powerful approach that enriches hallucination self-detection by (i) converting LLM responses into knowledge graphs of entities and relations, and (ii) using these graphs to estimate the likelihood that a response contains hallucinations. We evaluate the proposed approach using two widely used LLMs, GPT-4o and Gemini-2.5-Flash, across two hallucination detection datasets. To support more reliable future benchmarking, one of these datasets has been manually curated and enhanced and is released as a secondary outcome of this work. Compared to standard self-detection methods and SelfCheckGPT, a state-of-the-art approach, our method achieves up to 16% relative improvement in accuracy and 20% in F1-score. Our results show that LLMs can better analyse atomic facts when they are structured as knowledge graphs, even when initial outputs contain inaccuracies. This low-cost, model-agnostic approach paves the way toward safer and more trustworthy language models.
- Abstract(参考訳): 明らかに疑わしいが虚偽の言明を生んだ幻覚は、LLMの安全な配備にとって大きな障壁であり続けている。
自己検出手法の強い性能に基づいて,幻覚の自己検出を改善するために構造化知識表現,すなわち知識グラフを用いて検討する。
具体的には、幻覚による自己検出を豊かにするための、シンプルながら強力なアプローチを提案する。
一 LLM 応答を実体及び関係の知識グラフに変換すること。
(ii) このグラフを用いて、応答が幻覚を含む可能性を推定する。
GPT-4oとGemini-2.5-Flashの2つの幻覚検出データセットを用いて提案手法の評価を行った。
より信頼性の高い将来のベンチマークをサポートするために、これらのデータセットの1つが手作業でキュレーションされ、拡張され、この作業の二次的な結果としてリリースされている。
従来の自己検出法や最先端手法であるSelfCheckGPTと比較して, 精度が16%, F1スコアが20%向上した。
その結果,初期出力が不正確な場合であっても,LLMは知識グラフとして構造化された場合の原子事実をよりよく解析できることがわかった。
この低コストでモデルに依存しないアプローチは、より安全で信頼性の高い言語モデルへの道を開く。
関連論文リスト
- Predicting LLM Correctness in Prosthodontics Using Metadata and Hallucination Signals [4.680384065487852]
大規模言語モデル (LLM) は、医療や医学教育などの高度な領域で採用されている。
本研究では, 汎用モデル (GPT-4o) と推論中心モデル (OSS-120B) を多症例補綴学試験で解析し, 正当性予測の可能性を検討した。
以上の結果から, このメタデータベースのアプローチは, 解答の正解を前提として, 最大で+7.14%の精度向上と83.12%の精度向上を達成できることが示唆された。
論文 参考訳(メタデータ) (2025-12-27T07:51:50Z) - Detecting Hallucinations in Graph Retrieval-Augmented Generation via Attention Patterns and Semantic Alignment [36.45654492179688]
GraphRAG(Graph-based Retrieval-Augmented Generation)は大規模言語モデル(LLM)を強化する
LLMは、入力中の関係やトポロジ的な情報を解釈するのに苦労し、その結果、得られた知識と矛盾する幻覚をもたらす。
本稿では,最短パス三重項の過度信頼度を計測するパス信頼度度(PRD)と,モデルの内部表現が抽出した知識とどのように一致しているかを評価するセマンティックアライメントスコア(SAS)の2つの軽量解釈可能性指標を提案する。
論文 参考訳(メタデータ) (2025-12-09T21:52:50Z) - "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。
異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。
本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-02-18T11:00:28Z) - HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。
提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文 参考訳(メタデータ) (2025-02-12T04:17:02Z) - Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering [66.5524727179286]
NOVAは、幻覚を減らすための学習知識とよく一致した高品質なデータを特定するために設計されたフレームワークである。
内部整合性探索(ICP)とセマンティック等価同定(SEI)が含まれており、LLMが命令データとどれだけ親しみやすいかを測定する。
選択したサンプルの品質を確保するため,親しみ以上の特性を考慮した専門家による報酬モデルを導入する。
論文 参考訳(メタデータ) (2025-02-11T08:05:56Z) - Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL)
本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
論文 参考訳(メタデータ) (2024-10-16T00:15:40Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T08:39:17Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。