論文の概要: Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

• arxiv url: http://arxiv.org/abs/2504.10063v2
• Date: Thu, 22 May 2025 12:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.126549
• Title: Hallucination Detection in LLMs with Topological Divergence on Attention Graphs
• Title（参考訳）: 注意グラフ上のトポロジ的多様性を考慮したLLMの幻覚検出
• Authors: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev,
• Abstract要約: 幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
• 参考スコア（独自算出の注目度）: 64.74977204942199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination, i.e., generating factually incorrect content, remains a critical challenge for large language models (LLMs). We introduce TOHA, a TOpology-based HAllucination detector in the RAG setting, which leverages a topological divergence metric to quantify the structural properties of graphs induced by attention matrices. Examining the topological divergence between prompt and response subgraphs reveals consistent patterns: higher divergence values in specific attention heads correlate with hallucinated outputs, independent of the dataset. Extensive experiments - including evaluation on question answering and summarization tasks - show that our approach achieves state-of-the-art or competitive results on several benchmarks while requiring minimal annotated data and computational resources. Our findings suggest that analyzing the topological structure of attention matrices can serve as an efficient and robust indicator of factual reliability in LLMs.
• Abstract（参考訳）: 幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデル(LLM)にとって重要な課題である。 我々は、トポロジーに基づくHAllucination detectorであるTOHAをRAG設定で導入し、トポロジ的発散量を利用して、注目行列によって誘導されるグラフの構造特性を定量化する。 プロンプトと応答のサブグラフ間のトポロジ的ばらつきを調べると、一貫したパターンが明らかになる。 質問応答と要約タスクの評価を含む広範囲な実験は、我々の手法が、最小限のアノテートデータと計算資源を必要としながら、いくつかのベンチマークで最先端または競争的な結果を達成することを示す。 その結果, 注意行列のトポロジカルな構造解析は, LLMの事実信頼性の指標として, 効率的かつ堅牢な指標となる可能性が示唆された。

関連論文リスト

• Information-theoretic Quantification of High-order Feature Effects in Classification Problems [0.19791587637442676]
  特徴重要度(Hi-Fi)法における高次相互作用の情報理論拡張について述べる。 私たちのフレームワークは、機能のコントリビューションをユニークでシナジスティックで冗長なコンポーネントに分解します。 その結果,提案した推定器は理論的および予測された結果を正確に復元することがわかった。
  論文  参考訳（メタデータ） (2025-07-06T11:50:30Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
  CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる 我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。 デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:46:33Z)
• SINdex: Semantic INconsistency Index for Hallucination Detection in LLMs [2.805517909463769]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがってデプロイされる傾向にあるが、事実的に誤った出力を生成する傾向にある。 自動幻覚検出のための新しい,スケーラブルな不確実性に基づくセマンティッククラスタリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-07T23:25:19Z)
• VisFactor: Benchmarking Fundamental Visual Cognition in Multimodal Large Language Models [62.667142971664575]
  因子関連認知テスト(FRCT)から得られた新しいベンチマークであるVisFactorを紹介する。 VisFactorは視覚関連FRCTサブテストのデジタル化を行い、基本的な視覚認知タスク間でMLLMを体系的に評価する。 GPT-4o, Gemini-Pro, Qwen-VLなどの最先端MLLMの総合評価を行った。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Understanding Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
  我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。 本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。 我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Causally-Aware Unsupervised Feature Selection Learning [15.20376149047008]
  非教師なし特徴選択(UFS)は、最近、ラベルなし高次元データの処理に有効であるとして注目されている。 従来のグラフベースの手法では、類似性グラフの構築において、非因果的特徴と因果的特徴の異なる影響を考慮できない。 Causally-Aware UnSupErvised Feature Selection Learning (CAUSE-FS)と呼ばれる新しいUFS法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T04:41:38Z)
• Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability [0.9499648210774584]
  エッジ機能グラフニューラルネットワーク(GNN)における注意層内のマスアクティブ(MA)の出現を示す。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,エッジ機能付き注目型GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping [0.24578723416255746]
  特徴の選択は、モデルの解釈可能性を高める上で重要な役割を担います。 決定木を集約することで得られる精度は、解釈可能性の犠牲となる。 この研究では、教師なしランダムな森林から特徴グラフを構築するための新しい手法を紹介した。
  論文  参考訳（メタデータ） (2024-04-27T12:47:37Z)
• PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
  PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。 我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
  論文  参考訳（メタデータ） (2024-04-06T20:02:20Z)
• Spectral Clustering for Directed Graphs via Likelihood Estimation on Stochastic Block Models [22.421702511126373]
  ブロックモデルに対する統計的推測を利用して、有向グラフに対するスペクトルクラスタリングアルゴリズムの開発を導く。 我々は、スペクトル緩和の誤クラスタリング誤差に関する理論上界を確立し、この緩和に基づいて、有向グラフに対する新しい自己適応スペクトルクラスタリング法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T15:47:13Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• Scalable Intervention Target Estimation in Linear Models [52.60799340056917]
  因果構造学習への現在のアプローチは、既知の介入目標を扱うか、仮説テストを使用して未知の介入目標を発見する。 本稿では、全ての介入対象を一貫して識別するスケーラブルで効率的なアルゴリズムを提案する。 提案アルゴリズムは、与えられた観測マルコフ同値クラスを介入マルコフ同値クラスに更新することも可能である。
  論文  参考訳（メタデータ） (2021-11-15T03:16:56Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。