論文の概要: Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection

• arxiv url: http://arxiv.org/abs/2501.02020v1
• Date: Thu, 02 Jan 2025 16:45:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:34.623572
• Title: Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection
• Title（参考訳）: 幻覚検出のための意味グラフによる不確実性モデリングの強化
• Authors: Kedi Chen, Qin Chen, Jie Zhou, Xinqi Tao, Bowen Ding, Jingwen Xie, Mingchen Xie, Peilong Li, Feng Zheng, Liang He,
• Abstract要約: 大規模言語モデル(LLM)は、非事実的あるいは不誠実な文で幻覚を起こす傾向がある。 本稿では,幻覚検出のための意味グラフを用いた不確実性モデリング手法を提案する。
• 参考スコア（独自算出の注目度）: 46.930149191121416
• License:
• Abstract: Large Language Models (LLMs) are prone to hallucination with non-factual or unfaithful statements, which undermines the applications in real-world scenarios. Recent researches focus on uncertainty-based hallucination detection, which utilizes the output probability of LLMs for uncertainty calculation and does not rely on external knowledge or frequent sampling from LLMs. Whereas, most approaches merely consider the uncertainty of each independent token, while the intricate semantic relations among tokens and sentences are not well studied, which limits the detection of hallucination that spans over multiple tokens and sentences in the passage. In this paper, we propose a method to enhance uncertainty modeling with semantic graph for hallucination detection. Specifically, we first construct a semantic graph that well captures the relations among entity tokens and sentences. Then, we incorporate the relations between two entities for uncertainty propagation to enhance sentence-level hallucination detection. Given that hallucination occurs due to the conflict between sentences, we further present a graph-based uncertainty calibration method that integrates the contradiction probability of the sentence with its neighbors in the semantic graph for uncertainty calculation. Extensive experiments on two datasets show the great advantages of our proposed approach. In particular, we obtain substantial improvements with 19.78% in passage-level hallucination detection.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、実世界のシナリオにおける応用を損なう非事実的あるいは不誠実な文で幻覚を起こす傾向がある。 近年の研究では、不確実性計算にLLMの出力確率を利用する不確実性に基づく幻覚検出に焦点が当てられ、外部知識やLSMからの頻繁なサンプリングに依存しない。 しかし、ほとんどのアプローチはそれぞれの独立したトークンの不確かさを単に考慮しているが、トークンと文間の複雑な意味関係は十分に研究されていないため、複数のトークンと文にまたがる幻覚の検出が制限されている。 本稿では,幻覚検出のための意味グラフを用いた不確実性モデリング手法を提案する。 具体的には、まず、エンティティトークンと文間の関係をうまくキャプチャする意味グラフを構築する。 そして、不確実性伝播のための2つの実体の関係を組み込んで、文レベルの幻覚検出を強化する。 文間の矛盾による幻覚が生じることを考慮し,不確実性計算のためのセマンティックグラフにおいて文の矛盾確率を統合するグラフベースの不確実性校正手法を提案する。 2つのデータセットに対する大規模な実験は、提案手法の大きな利点を示している。 特に,パスレベルの幻覚検出では19.78%で大幅に改善した。

関連論文リスト

• Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• Hallucinations are inevitable but statistically negligible [23.12905996928255]
  言語モデル(LM)が非現実的コンテンツを生成する現象である幻覚は、LMの実践的な展開に重大な課題をもたらす。 最近の研究は計算可能性理論的な結果を確立し、任意のLMが必然的に無限の入力に対して幻覚を発生させることを示した。 学習データの品質と量で十分であれば,幻覚を統計的に無視できることを示す。
  論文  参考訳（メタデータ） (2025-02-15T07:28:40Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。