論文の概要: Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations

• arxiv url: http://arxiv.org/abs/2608.00711v1
• Date: Sat, 01 Aug 2026 15:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.872956
• Title: Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations
• Title（参考訳）: カスケードの追跡: 科学エージェントの幻覚のためのトポロジー・アウェア・アセスメント・フレームワーク
• Abstract要約: SCHEMA(SCHEMA)は、科学的エージェントの幻覚評価のためのエビデンスベースのトポロジー対応評価フレームワークである。 幻覚は、高度に接続された知識ハブの小さなセットに集中していることが示される。 その結果, 高精度な科学的応用においては, 端末の精度だけではエージェントの信頼性が不十分な信号であることが示唆された。
• 参考スコア（独自算出の注目度）: 27.330265411994258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents are increasingly deployed in scientific research, where reliability is critical and the underlying knowledge is densely interconnected. In such settings, hallucinations are particularly damaging: a single erroneous claim on a foundational concept can propagate through multi-step reasoning and corrupt entire trajectories. Existing hallucination benchmarks largely operate at the surface level, treating facts in isolation and relying on uniform accuracy metrics that ignore this topological structure. We address this gap with SCHEMA, the first evidence-grounded, topology-aware evaluation framework for hallucinations in scientific agents. SCHEMA automatically constructs scientific concept graphs from benchmark seeds and literature evidence, synthesizes graph-grounded tasks spanning claim verification, multi-hop reasoning, open-ended explanation, and experimental code generation, and evaluates agents with two complementary diagnostics. A trajectory hallucination pipeline audits intermediate reasoning at scale via a topology-weighted severity score, while a multi-agent counterfactual attribution module pinpoints the causal mechanism behind selected failures. SCHEMA reveals that hallucinations concentrate at a small set of highly connected knowledge hubs, and that final-answer accuracy decouples from trajectory honesty; models often reach correct conclusions through structurally flawed reasoning. These results indicate that for high-stakes scientific applications, terminal accuracy alone is an insufficient signal of agent reliability, motivating mechanism-level evaluation grounded in knowledge topology. Code is available at https://github.com/circles-post/SCHEMA.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、信頼性が重要であり、基礎となる知識が密接な相互接続である科学研究にますます利用されている。 基礎概念に関する1つの誤った主張は、多段階の推論を通じて伝播し、全軌道を乱す。 既存の幻覚ベンチマークは、主に表面レベルで動作し、事実を個別に扱い、このトポロジ的構造を無視する均一な精度の指標に依存している。 SCHEMAは科学的エージェントによる幻覚評価のための,最初の根拠に基づくトポロジ対応評価フレームワークである。 SCHEMAは、ベンチマークシードと文献のエビデンスから科学概念グラフを自動構築し、クレーム検証、マルチホップ推論、オープンな説明、実験コード生成にまたがるグラフ基底タスクを合成し、2つの相補的な診断を行うエージェントを評価する。 トラジェクトリ幻覚パイプラインは、トポロジ重み付き重大度スコアを介してスケールでの中間推論を監査し、マルチエージェントの反事実帰属モジュールは、選択された障害の背後にある因果機構をピンポイントする。 SCHEMAは、幻覚は高度に連結された知識ハブの小さなセットに集中しており、最終回答の精度が軌道の誠実さから切り離されていることを明らかにしている。 これらの結果から, 端末の精度はエージェントの信頼性に欠ける信号であり, 知識トポロジに根ざしたメカニズムレベルの評価が困難であることが示唆された。 コードはhttps://github.com/circles-post/SCHEMAで入手できる。

関連論文リスト

• Agentic Root Cause Analysis through Evidence-Grounded Reasoning [16.37572484400141]
  AgentRCAはエビデンス基底根本原因分析のためのゼロショットエージェントフレームワークである。 データ駆動型ディジタルツインとツール拡張された大きな言語モデルを組み合わせることで、推論時推論を実行する。 障害固有のトレーニングに頼ることなく、完全に教師されたベースラインと競合する診断性能を実現する。
  論文  参考訳（メタデータ） (2026-07-24T15:10:41Z)
• Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning [103.788281428856]
  SciReasonerは、タンパク質、小さな分子、無機結晶をまたいだ自然構造推論のための科学基盤モデルである。 SciReasonerは座標、トポロジ、周期接続性を統一された構造対応語彙に識別する。 86のベンチマークで、SciReasonerは67のタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-08T17:59:59Z)
• HypoAgent: An Agentic Framework for Interactive Abductive Hypothesis Generation over Knowledge Graphs [52.91976391891331]
  知識グラフに対する帰納的推論は、観察された実体や事実を説明する論理的仮説を生成することを目的としている。 既存の制御可能な仮説生成手法により、ユーザーは明示的な条件でこのプロセスをガイドすることができる。 本稿では,知識グラフ上での対話的帰納的仮説生成のためのエージェントフレームワークであるHypoAgentを提案する。
  論文  参考訳（メタデータ） (2026-05-29T14:40:37Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory [7.41972830438376]
  深層研究エージェント(DRA)の故障メカニズムの診断は依然として重要な課題である。 既存のベンチマークは主にエンドツーエンドの評価に依存しており、重要な中間幻覚を隠している。 機能成分とエラー特性に沿った幻覚を分類するためにPIES分類を導入した。
  論文  参考訳（メタデータ） (2026-01-30T13:49:09Z)
• Atomic Reasoning for Scientific Table Claim Verification [83.14588611859826]
  非専門家は、その高い情報密度と認識される信頼性のために、科学的表に基づく主張を誤解させるおそれがある。 既存のテーブルクレーム検証モデル、例えば最先端の大規模言語モデル(LLM)は、しばしば精密なきめ細かい推論に苦しむ。 認知負荷理論に触発されて、表に基づく主張を解釈するモデルの能力を高めるには、認知負荷を減らす必要がある。
  論文  参考訳（メタデータ） (2025-06-08T02:46:22Z)
• Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models [12.270274049887298]
  トレースの推論は冗長あるいは論理的に矛盾する可能性があるため、新しい幻覚の源となる。 既存の幻覚検出法は主に回答レベルの不確実性に焦点を当てている。 LRMにおける幻覚検出に適した新しいフレームワークであるRASを提案する。
  論文  参考訳（メタデータ） (2025-06-05T09:54:04Z)
• Detection and Mitigation of Hallucination in Large Reasoning Models: A Mechanistic Perspective [11.013059864022667]
  推論の幻覚は論理的に一貫性があるが、事実的に誤った推論トレースである。 これらのエラーは構造化推論に埋め込まれており、検出が難しく、潜在的に有害である可能性がある。 本稿では,ロジット間のばらつきを測定することによって推論の深さを定量化するReasoning Scoreを提案する。 また,ステップレベルの深い推論報酬をポテンシャルベース形状に組み込んだ強化強化学習アルゴリズムGRPO-Rを導入する。
  論文  参考訳（メタデータ） (2025-05-19T09:16:40Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
  本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。 原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。 固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
  論文  参考訳（メタデータ） (2024-09-04T10:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。