論文の概要: Hallucination Detection in LLMs via Topological Divergence on Attention Graphs
- arxiv url: http://arxiv.org/abs/2504.10063v1
- Date: Mon, 14 Apr 2025 10:06:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-22 22:29:47.292282
- Title: Hallucination Detection in LLMs via Topological Divergence on Attention Graphs
- Title（参考訳）: 注意グラフのトポロジ的多様性によるLLMの幻覚検出
- Authors: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev,
- Abstract要約: 幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。
本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
- 参考スコア（独自算出の注目度）: 64.74977204942199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination, i.e., generating factually incorrect content, remains a critical challenge for large language models (LLMs). We introduce TOHA, a TOpology-based HAllucination detector in the RAG setting, which leverages a topological divergence metric to quantify the structural properties of graphs induced by attention matrices. Examining the topological divergence between prompt and response subgraphs reveals consistent patterns: higher divergence values in specific attention heads correlate with hallucinated outputs, independent of the dataset. Extensive experiments, including evaluation on question answering and data-to-text tasks, show that our approach achieves state-of-the-art or competitive results on several benchmarks, two of which were annotated by us and are being publicly released to facilitate further research. Beyond its strong in-domain performance, TOHA maintains remarkable domain transferability across multiple open-source LLMs. Our findings suggest that analyzing the topological structure of attention matrices can serve as an efficient and robust indicator of factual reliability in LLMs.
- Abstract（参考訳）: 幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデル(LLM)にとって重要な課題である。
我々は、トポロジーに基づくHAllucination detectorであるTOHAをRAG設定で導入し、トポロジ的発散量を利用して、注目行列によって誘導されるグラフの構造特性を定量化する。
プロンプトと応答のサブグラフ間のトポロジ的ばらつきを調べると、一貫したパターンが明らかになる。
質問応答の評価やデータ・トゥ・テキスト・タスクを含む広範囲な実験は、我々のアプローチがいくつかのベンチマークで最先端または競合的な結果を達成していることを示している。
強力なドメイン内パフォーマンスに加えて、TOHAは複数のオープンソース LLM にまたがる顕著なドメイン転送性を維持している。
注意行列のトポロジカル構造を解析することは,LLMの事実信頼性の指標として,効率的かつ堅牢な指標となる可能性が示唆された。
関連論文リスト
- How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。
メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文 参考訳（メタデータ） (2025-04-10T16:14:55Z) - Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる
我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。
デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
論文 参考訳（メタデータ） (2025-03-14T07:46:33Z) - SINdex: Semantic INconsistency Index for Hallucination Detection in LLMs [2.805517909463769]
大規模言語モデル(LLM)は、さまざまなドメインにまたがってデプロイされる傾向にあるが、事実的に誤った出力を生成する傾向にある。
自動幻覚検出のための新しい,スケーラブルな不確実性に基づくセマンティッククラスタリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-07T23:25:19Z) - VisFactor: Benchmarking Fundamental Visual Cognition in Multimodal Large Language Models [62.667142971664575]
因子関連認知テスト(FRCT)から得られた新しいベンチマークであるVisFactorを紹介する。
VisFactorは視覚関連FRCTサブテストのデジタル化を行い、基本的な視覚認知タスク間でMLLMを体系的に評価する。
GPT-4o, Gemini-Pro, Qwen-VLなどの最先端MLLMの総合評価を行った。
論文 参考訳（メタデータ） (2025-02-23T04:21:32Z) - Understanding Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。
本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。
我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
論文 参考訳（メタデータ） (2024-10-24T08:20:10Z) - Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability [0.9499648210774584]
エッジ機能グラフニューラルネットワーク(GNN)における注意層内のマスアクティブ(MA)の出現を示す。
本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,エッジ機能付き注目型GNNモデルの評価を行う。
論文 参考訳（メタデータ） (2024-09-05T12:19:07Z) - PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。
LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。
我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文 参考訳（メタデータ） (2024-04-06T20:02:20Z) - Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。
LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。
我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
論文 参考訳（メタデータ） (2023-12-22T13:14:38Z) - Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。
問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。
包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
論文 参考訳（メタデータ） (2021-08-26T04:23:57Z) - Attention improves concentration when learning node embeddings [1.2233362977312945]
検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。
様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。
本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
論文 参考訳（メタデータ） (2020-06-11T21:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。