論文の概要: Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy

• arxiv url: http://arxiv.org/abs/2610.26836v1
• Date: Mon, 19 Oct 2026 17:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 17:07:53.698939
• Title: Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
• Title（参考訳）: 同じシミュレーションと異なるエビデンス: 回収されたツール出力がLLMエージェントの精度を損なう理由
• Abstract要約: 正しい答えを計算するLLMエージェントは、いまだに正しく答えることができる。 アメリカ地質調査所(USGS)の地球化学シミュレータPHREEQC。 GPT-5.4では、より頻繁な正しいシミュレーションは10ポイントのエビデンス・ユース・ロスを隠蔽し、純変化はゼロと区別できない。
• 参考スコア（独自算出の注目度）: 5.992855612201743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and GPT-5.2 lose 11.3 and 7.9 points of accuracy, while Claude Opus 4.6 and Claude Sonnet 4.6 show no detectable cost. Re-running all 11,007 logged simulator calls shows that both GPT models compute the keyed value about as often as before; what changes is the evidence they answer from. Under retrieval they often skip the report, answer from their own higher-precision output files, and misround to a neighboring option, a failure we call evidence substitution. With the simulation held fixed, retrieval still costs GPT-5.2 9.4 points. For GPT-5.4, more frequent correct simulations mask an evidence-use loss of about ten points, leaving a net change indistinguishable from zero. Naming the authoritative output raises accuracy by 6.3-7.9 points over plain retrieval for the three GPT models; for GPT-5.1 and GPT-5.2, inlining outputs that fit works as well, while asking for correct rounding does not. Context-management choices in agent harnesses should be judged by where accuracy is lost, not only by final accuracy.
• Abstract（参考訳）: 正しい答えを計算するLLMエージェントは、いまだに正しく答えることができる。 エージェントハーネスは、コンテキストウィンドウから長いツール出力を保持し、エージェントが検索したり、要求に応じて読み込んだファイルに保存する。 PHREEQCは米国地質調査所から広く使われている地球化学シミュレーターで、報告は846.8k文字に達し、決定論によってすべての印刷された値を追跡できる。 エージェントは158個の実行検証された複数選択項目に答えるためにそれを使用する。 GPT-5.1とGPT-5.2は11.3と7.9の精度を失い、Claude Opus 4.6とClaude Sonnet 4.6は検出不可能なコストを示した。 11,007のログ付きシミュレーターコールを再実行すると、両方のGPTモデルがキー付き値を以前と同じ頻度で計算していることがわかる。 検索では、しばしばレポートをスキップし、より高精度な出力ファイルから回答し、近隣のオプションを誤って回避します。 シミュレーションが固定されたままでは、検索はGPT-5.2 9.4ポイントの費用がかかる。 GPT-5.4では、より頻繁な正しいシミュレーションは10ポイントのエビデンス・ユース・ロスを隠蔽し、純変化はゼロと区別できない。 GPT-5.1 と GPT-5.2 では、正しい丸めを要求しながら、動作に適合する出力をインライン化している。 エージェントハーネスにおけるコンテキスト管理の選択は、最終的な精度だけでなく、どの精度が失われるかによって判断されるべきである。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• What Aggregate Scores Miss: Measuring Item-Level Regressions in Commercial LLM API Migrations [1.6787220460106658]
  大規模言語モデルAPIに依存するソフトウェアシステムは、ベンダーが古いモデルを非推奨にする場合、後継バージョンに移行する必要がある。 移行決定は通常、集約されたベンチマークスコアに依存し、不均一なアイテムレベルの振る舞いを1つのネットフィギュアに圧縮する。
  論文  参考訳（メタデータ） (2026-08-18T12:44:54Z)
• StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling [4.896437190911549]
  StateMは、耐久性のある状態、フェーズローカルコンテキスト、チェックされたトランジション、リカバリ可能なランブック、バージョン管理された手続きプラクティスを中心に実行を整理する。 StateMは445の試験で95.3%の生の精度に達し、少なくとも89のタスクで1度は成功している。
  論文  参考訳（メタデータ） (2026-08-15T07:16:28Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models [2.064923532131528]
  デプロイされた言語モデルは、正しいものとフォーマットに準拠した出力を生成する必要がある。 本稿では,GSM8KとMATHという2つの数学的ベンチマークを用いて,この構造化出力信頼性ギャップについて検討する。 対象モデルへのブラックボックスAPIアクセスのみを必要とする反復的なシステムプロンプトであるAloLabを開発した。
  論文  参考訳（メタデータ） (2026-05-04T09:07:44Z)
• GPT-5 Model Corrected GPT-4V's Chart Reading Errors, Not Prompting [3.765281403026053]
  本稿では,ゼロショット大言語モデル(LLM)がチャート読解タスクに与える影響を定量的に評価する。 エージェントGPT-5とマルチモーダルGPT-4Vの推測精度を比較するため, LLMに107の可視化質問に対する回答を求めた。 その結果,モデルアーキテクチャが推論精度を支配しているのに対し,プロンプト変種は小さな効果しか得られていないことがわかった。
  論文  参考訳（メタデータ） (2025-10-08T09:09:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。