論文の概要: Where Do the Tokens Go? Understanding and Reducing Costs in LLM Agents for Vulnerability Discovery

• arxiv url: http://arxiv.org/abs/2610.11602v1
• Date: Thu, 08 Oct 2026 09:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.936143
• Title: Where Do the Tokens Go? Understanding and Reducing Costs in LLM Agents for Vulnerability Discovery
• Title（参考訳）: トークンはどこへ行くのか : 脆弱性発見のためのLSMエージェントの理解とコスト削減
• Abstract要約: 我々は、異なるエージェントが成功とコストにおいて大きく異なることを示し、高い支出が常により良い結果をもたらすとは限らないことを示している。 持続的双方向エビデンストレース(BET)を中心に構築されたエージェント中心の推論インタフェースIについて述べる。 読み出し、分析、永続化は、エージェントが繰り返し回収して再構築するのではなく、この証拠を構築し、再利用するのに役立ちます。
• 参考スコア（独自算出の注目度）: 12.298481902476327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents can spend millions of tokens during vulnerability discovery without producing a working proof of concept (PoC). What consumes that budget, and why does it fail to produce results? We diagnose these costs and failures through a multi-axis open-coding study of 200 CyberGym traces, spanning four agents (i.e., Codex, OpenCode, Cybench, and EnIGMA) under an unaided baseline and four existing efficiency methods. The study reveals three key findings. First, different agents vary substantially in success and cost, and higher spending does not consistently yield better outcomes. Second, code localization and understanding, together with vulnerability reasoning and trigger design, account for 60.4% of tokens and represent the two leading bottlenecks in failed runs. Third, only 24.4% of matched comparisons preserve success at lower total cost; unsuitable signals and auxiliary overhead limit the benefits of existing methods. Motivated by these findings, we present AVRI, an Agent-centric Vulnerability Reasoning Interface built around a persistent Bidirectional Evidence Trace (BET). BET connects how the harness consumes input with the conditions required to make a selected operation unsafe, retaining source-supported correspondences alongside the agent's hypotheses and open questions. Reading, analysis, and persistence commands help agents build and reuse this evidence rather than repeatedly retrieve and reconstruct it. On 20 evaluation tasks, AVRI reduces total cost by 18.0% for Codex and 23.7% for OpenCode while preserving success rates and improving or maintaining recall.
• Abstract（参考訳）: LLMエージェントは、実際に動作する概念実証(PoC)を作成することなく、脆弱性発見中に数百万のトークンを使用することができる。 何がその予算を消費し、なぜ結果が得られないのか? 我々は,CyberGymトレース200件の多軸オープンコード調査を通じて,これらのコストと障害を診断し,未確認のベースラインと既存の4つの効率方法の下で,4つのエージェント(Codex,OpenCode,Cybench,EnIGMA)にまたがる。 この研究は3つの重要な発見を明らかにしている。 第一に、異なるエージェントは成功とコストで大きく異なり、高い支出が常により良い結果をもたらすわけではない。 第二に、コードのローカライゼーションと理解、および脆弱性推論とトリガー設計は、トークンの60.4%を占め、失敗に終わった2つの主要なボトルネックを表している。 第3に、マッチした比較のわずか24.4%が総コストで成功を保ち、不適切な信号と補助的なオーバーヘッドは既存の方法の利点を制限している。 これらの知見に触発されたAVRI(Agen-centric Vulnerability Reasoning Interface)は,持続的双方向エビデンストレース(BET)を中心に構築されたインタフェースである。 BETは、ハーネスがどのように入力を消費するかを、選択された操作を危険にさらすために必要な条件と結びつけ、エージェントの仮説とオープンな質問と共にソース支援された対応を維持する。 読み出し、分析、永続的なコマンドは、エージェントが繰り返し取得して再構築するのではなく、このエビデンスを構築し、再利用するのに役立つ。 評価タスク20において、AVRIはCodexの総コストを18.0%、OpenCodeの23.7%削減し、成功率を維持し、リコールを改善または維持する。

関連論文リスト

• The Epistemics of Agent Memory: Measuring, and Governing, the Consolidation Decision in Long-Horizon LLM Agents [0.0]
  LLMエージェントは、蓄積した経験を耐久性のあるメモリに変換する必要がある。 フェーズ1は下流ユーティリティによってエージェントトレースからエピソード境界を学習する。 フェーズ2は、トークン予算の下で経験と抽象化のレベルを促進する方法を学ぶ。 フェーズ3では、3つの非円周軸上の既知の最適値に対する統合決定をスコアするオラクル・バイ・コンストラクション・ベンチマークが導入されている。
  論文  参考訳（メタデータ） (2026-09-26T23:10:45Z)
• Analyzing and Mitigating Cost-Inefficient Behaviors in Coding Agents [14.861968433466316]
  我々はClaude CodeとMini-SWE-Agentから1200のトラジェクトリを解析した。 提案手法は,推定検索,類似スクリプト生成,テスト再実行の3つのコスト非効率動作を同定する。 次に,構造認識検索,エージェント合成スキル,開発者設計スキルの3つの緩和戦略を評価する。
  論文  参考訳（メタデータ） (2026-09-25T02:54:18Z)
• EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction [14.50182233464472]
  我々は,各タスクのコストを削減するために,効率の相補軸である早期結果予測を導入する。 EarlyEvalはエージェントステップの13%-26%、入力トークン44.1%、出力トークン29.4%を89%～97%の精度で除去できる。
  論文  参考訳（メタデータ） (2026-09-02T16:15:18Z)
• The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
  本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。 通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
  論文  参考訳（メタデータ） (2026-04-27T16:23:09Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。