論文の概要: StateMirror: Pre-Execution Detection of Hallucinated Tool Calls in Coding Agents
- arxiv url: http://arxiv.org/abs/2610.32648v1
- Date: Fri, 23 Oct 2026 13:56:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.536786
- Title: StateMirror: Pre-Execution Detection of Hallucinated Tool Calls in Coding Agents
- Title（参考訳）: StateMirror: コーディングエージェントにおけるハロゲン化ツールコールの事前実行検出
- Abstract要約: LLM(Large Language Model)ベースのコーディングエージェントは、実行環境に適用できない無効なアクションを提案できる。
4,398件の薬の軌道に関する予備的な研究により、これらの幻覚は広範で費用がかかることが判明した。
既存のフレームワークは、リアクティブで実行後のフィードバック、ランタイムリソースの浪費に依存している。
我々は、軽量な事前実行検知器であるStateMirrorを紹介する。
- 参考スコア（独自算出の注目度）: 5.818104580482205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM)-based coding agents may propose invalid actions that are not applicable in the execution environment, such as accessing non-existent paths or missing packages. We term this mismatch hallucinated tool use. A preliminary study of 4,398 agent trajectories reveals that these hallucinations are pervasive and costly, requiring a median of 3 additional interaction steps and 22.4K tokens to recover. Existing frameworks rely on reactive, post-execution feedback, wasting runtime resources. Nevertheless, since an agent's execution environment is grounded in concrete codebase and harness components, many action prerequisites can be extracted and validated prior to execution. To this end, we introduce StateMirror, a lightweight pre-execution detector. StateMirror intercepts actions at the harness boundary, extracts state predicates via AST and command analysis, and deterministically validates them against the live repository. By pinpointing exact environment mismatches before execution, StateMirror preempts invalid actions and subsequent recovery cycles. Evaluation on 2,508 actions shows StateMirror achieves 0.940 precision and 0.817 F1 in detecting such hallucinations, surpassing the strongest LLM judge by 35.3% in F1 while reducing median detection latency from 17.73 s to 1.50 ms with zero token consumption. For practical mitigation, StateMirror's pre-execution feedback enables agents to rectify over 95% of hallucinated tool calls. During live mitigation on 79 tasks, StateMirror reduces agent execution time by 15.8% and token consumption by 11.8% while maintaining task resolution.
- Abstract（参考訳）: LLM(Large Language Model)ベースのコーディングエージェントは、既存のパスへのアクセスやパッケージの欠如など、実行環境に適用できない無効なアクションを提案できる。
私たちはこのミスマッチ幻覚ツールの使用を表現します。
4,398件のエージェント・トラジェクトリーの予備的な研究により、これらの幻覚は広範でコストがかかることが判明し、3つの追加の相互作用ステップと22.4Kトークンの中央値を必要とする。
既存のフレームワークは、リアクティブで実行後のフィードバック、ランタイムリソースの浪費に依存している。
それでも、エージェントの実行環境は具体的なコードベースとハーネスコンポーネントに基盤を置いているため、実行前に多くのアクション前提条件を抽出し、検証することができる。
この目的のために、軽量な事前実行検知器であるStateMirrorを紹介します。
StateMirrorは、ハーネス境界でのアクションをインターセプトし、ASTとコマンド分析を通じて状態述語を抽出し、ライブリポジトリに対して決定論的に検証する。
実行前に正確な環境ミスマッチをピンポイントすることで、StateMirrorは無効なアクションとその後のリカバリサイクルをプリエンプションする。
2,508アクションの評価では、StateMirrorはこのような幻覚を検出するのに0.940の精度と0.817のF1を達成し、最強のLCM審査員を35.3%上回り、トークン消費ゼロで17.73秒から1.50ミリ秒まで中央値の検出遅延を減らした。
実用的な緩和のために、StateMirrorの事前実行フィードバックにより、エージェントは幻覚ツールコールの95%以上を修正できる。
79タスクのライブ緩和中、StateMirrorはタスク解決を維持しながらエージェントの実行時間を15.8%削減し、トークン消費を11.8%削減した。
関連論文リスト
- Look Before You Restore: Learning to Predict Before Acting for Agentic Image Restoration [52.44858327464349]
実行前にツールの結果を予測するエージェント復元フレームワークであるPreActIRを提案する。
各候補ツールに対して、ツール条件付きワールドモデルは、残留劣化、画質、忠実度の変化を予測する。
PreActIRは実際のツールコールを42.5%、拒否されたコールを63.4%削減している。
論文 参考訳（メタデータ） (2026-10-14T15:50:31Z) - PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents [27.303145899045074]
本稿では、PACE(Provenance-Aware Capability Enforcement)を紹介し、実行直前にすべてのツールコールを仲介する。
PACEは、提案されたブロックの後に認証された呼び出しを復元したり、宣言された修復を適用することができる。
スケールの縮小された適応探索は、0/30の不正なターゲットで防御に成功している。
論文 参考訳（メタデータ） (2026-10-01T09:18:05Z) - TomasuLLM: Out-of-Order Speculative Execution for LLM Agents [18.529521561107412]
TomasuLLMは、タスク実行の正確性を維持しながら、軌道順からエージェントツール呼び出しを実行する。
将来のアクションをドラフトし、独立したコピーオンライトサンドボックスで実行し、依存関係とエフェクトをトレースし、検証後にのみトラジェクティブオーダをコミットする。
サブ秒から数分のツールコールにまたがる3つのベンチマークで、TomasuLLMはレポートされたベンチマーク手段を改善し、ツールのレイテンシでスケールする。
論文 参考訳（メタデータ） (2026-09-22T03:41:35Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳（メタデータ） (2026-08-03T16:34:46Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair [18.653708704742353]
実行には時間がかかり費用もかかるが、プログラム修復エージェントへの影響は未調査のままである。
コード実行は分析されたすべてのエージェントとモデルで使用され、タスク毎に平均8.8のテスト実行が実行される。
現在のエージェントは実行を無差別に適用し、ほとんど利益が得られないインスタンスにコストを支払う。
論文 参考訳（メタデータ） (2026-06-25T12:49:59Z) - ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。
現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
論文 参考訳（メタデータ） (2026-06-15T09:05:55Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - StepShield: When, Not Whether to Intervene on Rogue Agents [1.472404880217315]
既存のエージェント安全ベンチマークはバイナリの精度を報告し、死後分析の早期介入を混同している。
違反を検出する最初のベンチマークであるStepShieldを紹介します。
StepShieldは、評価の焦点をいつから移行することによって、より安全で経済的に実行可能なAIエージェントを構築するための、新たな基盤を提供する。
論文 参考訳（メタデータ） (2026-01-29T18:55:46Z) - Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。
検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。
このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
論文 参考訳（メタデータ） (2026-01-09T16:44:17Z) - MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。
MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
論文 参考訳（メタデータ） (2025-07-28T17:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。