論文の概要: Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination
- arxiv url: http://arxiv.org/abs/2611.18514v1
- Date: Fri, 13 Nov 2026 18:30:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:32.334858
- Title: Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination
- Title(参考訳): 機械的解釈性は LLM エージェント障害の解明に役立つか? Web 要素の幻覚を事例として
- Abstract要約: 本稿では,MIツールが現実的なエージェント障害に適用する際の課題について検討する。
Webエージェントは、Webサイトでは利用できないアクションを幻覚させる。
- 参考スコア(独自算出の注目度): 34.86818150115633
- License:
- Abstract: Mechanistic Interpretability (MI) has made significant progress in explaining the internal computations of Large Language Models (LLMs); however, these advances have yet to demonstrate comparable success in explaining the decision-making processes of LLM-based agents. This paper examines the challenges MI tools face when applied to realistic agentic failures. We focus on one such failure: web agents hallucinating actions that are not available on a website. We apply a series of mechanistic analyzes to Qwen2.5-7B-Instruct as it interacts with live websites. We find that a linear probe trained on the last prompt token can predict hallucinations before generation begins (0.80 AUC) and steering along a probe direction corrects 85\% of hallucinations, but disrupts 7\% of valid actions. However, these results only provide a partial explanation of why the agent hallucinates. The probe direction is sensitive to prompt formatting, losing much of its steering effect after a minor change to how actions are represented. Additionally, circuit identification can be difficult as the computation is distributed across multiple components and positions, and the information the agent relies on varies across examples. We discuss how these observations challenge the assumptions underlying standard MI methods for circuit discovery and feature identification, and outline future directions for making these methods better suited to explain failures in LLM-based agents.
- Abstract(参考訳): 機械的解釈可能性(MI)は、LLM(Large Language Models)の内部計算を説明する上で大きな進歩を遂げているが、これらの進歩は、LLMベースのエージェントの意思決定プロセスを説明する上で、同等の成功例を示していない。
本稿では,MIツールが現実的なエージェント障害に適用する際の課題について検討する。
Webエージェントは、Webサイトでは利用できないアクションを幻覚させる。
我々はQwen2.5-7B-Instructに一連の力学解析を適用する。
最後のプロンプトトークンで訓練された線形プローブは、生成開始前(0.80 AUC)に幻覚を予測し、プローブ方向に沿って操ることができ、85 %の幻覚を補正するが、有効行動の7 %を妨害する。
しかし、これらの結果は、薬が幻覚を起こす理由を部分的に説明するだけである。
プローブ方向はプロンプトフォーマッティングに敏感であり、アクションの表現方法に小さな変更を加えた後、操舵効果の多くを失う。
さらに、計算が複数のコンポーネントや位置に分散しているため、回路識別は困難であり、エージェントが依存する情報は例によって異なる。
回路探索と特徴同定のための標準MI手法の仮定にどのように挑戦するかを議論し、LCMエージェントの故障を説明するのにこれらの手法がより適するようにするための今後の方向性を概説する。
関連論文リスト
- Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving [7.648784748888186]
ロボットシステムの認知コンポーネントとして,大規模言語モデルが提案されている。
本研究は, 生体内LCM剤について, 使用可能な情報を変化させることで, 行動学的に検討した。
ノイズフリーベースラインよりも2.85倍の成功率で40%のフリップ確率でピークとなる中等雑音が性能を向上させることが判明した。
論文 参考訳(メタデータ) (2026-05-19T16:27:00Z) - Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing [12.835224376066769]
大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。
本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。
本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
論文 参考訳(メタデータ) (2025-09-26T12:07:47Z) - LLM-based Agents Suffer from Hallucinations: A Survey of Taxonomy, Methods, and Directions [80.12078194093013]
LLMをベースとした幻覚の包括的調査を行った。
そこで本研究では,異なる段階において発生するさまざまな種類の幻覚を識別する新しい分類法を提案する。
エージェント幻覚の出現の根底にある18の要因について詳細な検討を行った。
論文 参考訳(メタデータ) (2025-09-23T13:24:48Z) - MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。
MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
論文 参考訳(メタデータ) (2025-07-28T17:38:29Z) - When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
大規模言語モデル(LLM)は、バックドア攻撃に弱いことが知られている。
本稿では,自然言語説明の新しいレンズによるバックドア攻撃について検討する。
以上の結果から,バックドアモデルではクリーンな入力に対してコヒーレントな説明が得られたが,有毒なデータに対して多様かつ論理的に欠陥のある説明が得られた。
論文 参考訳(メタデータ) (2024-11-19T18:11:36Z) - Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。
モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。
本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
論文 参考訳(メタデータ) (2024-03-08T18:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。