論文の概要: Context Is a Pipeline, Not a Window: Information Attrition in LLM Agent Harnesses

• arxiv url: http://arxiv.org/abs/2610.36114v1
• Date: Mon, 26 Oct 2026 18:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.401245
• Title: Context Is a Pipeline, Not a Window: Information Attrition in LLM Agent Harnesses
• Title（参考訳）: コンテキストはパイプラインであり、ウィンドウではない - LLMエージェントのハーネスにおける情報属性
• Abstract要約: モデルがそれを見る前に、ツールのアウトプットがどれだけ失われるかを測定します。 結果の3分の1(3,827,189)がモデルに到達する前にカットされ、すべてのカット結果が壊れた。 私たちはエージェントのコンテキストを5段階のパイプラインとしてモデル化します。
• 参考スコア（独自算出の注目度）: 3.803192494208352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are judged by two numbers: the size of the context window, and how often the final answer is correct. Both numbers miss a third thing: how much of a tool's output is lost before the model ever sees it. We measured this loss in a real tool-using agent. The agent finds the cause of injected faults by reading Linux kernel traces. The context window was almost empty: across 720 runs, the single largest prompt used only 5.75% of it. Yet a third of all tool results (3,827 of 11,189) were cut before they reached the model, and every cut result became broken JSON. The harness cut each result by slicing its JSON text at a fixed length. This does not shorten a result evenly. It deletes whatever data sits near the end. One field reached the model in only 4.7% of calls. A second field, in the very same results, reached the model in 99.3% of calls. Which field held the fault's evidence depended on when the faulty process started: early or late in the trace. The agent's diagnosis accuracy matched this same split. So we ran controlled experiments to test one question: did the data loss cause the drop in accuracy? This paper makes four contributions. First, we model an agent's context as a five-stage pipeline, with a measured failure at each stage. Second, we replay 864 real tool results, including one from a production trace where the shipped cut deletes all 128 records of the fault's evidence. Third, a controlled experiment shows that the cut's real cost appears first as extra work, not as wrong answers: 43% more tool calls, twice the computation, and yield falling from 0.61 to 0.31. The agent still finds the right answer when it has another way to reach it. Fourth, a survey of seven agent frameworks finds two that cut tool output the same unsafe way. Whether the data cut truly causes the accuracy drop is still an open question.
• Abstract（参考訳）: LLMエージェントは、コンテキストウィンドウのサイズと、最終的な答えが正しい頻度の2つの数字で判断される。 どちらの数字も第3の点を見逃している: ツールのアウトプットが、モデルがそれを見る前にどれだけ失われているか。 私たちはこの損失を実際の工具使用剤で測定した。 エージェントは、Linuxカーネルトレースを読み取ることで、注入された障害の原因を見つける。 コンテキストウィンドウはほとんど空で、720回の実行で最大のプロンプトが5.75%しか使われなかった。 しかし、3分の1のツール結果(11,189件中3,827件)がモデルに到達する前にカットされ、すべてのカット結果がJSONが壊れた。 ハーネスは、JSONテキストを一定の長さでスライスすることで、それぞれの結果を削減した。 これは結果を均等に短縮するものではない。 端近くにあるデータを削除します。 1つのフィールドが4.7%のコールでモデルに到達した。 2つ目のフィールドは、同じ結果で、99.3%の呼び出しでモデルに到達した。 どのフィールドが断層の証拠を保持していたかは、欠陥プロセスが始まった時期、すなわちトレースの早期または後期に依存していた。 エージェントの診断精度は、この分割と一致した。 そこで私たちは、データ損失が正確さの低下の原因になったのか、という疑問をテストするために、コントロールされた実験を実行しました。 この論文には4つの貢献がある。 まず、エージェントのコンテキストを5段階のパイプラインとしてモデル化する。 第2に、出荷されたカットが障害の証拠の128レコードをすべて削除する、プロダクショントレースからの1つを含む、実際の864ツールの結果を再生する。 第三に、制御された実験では、カットの実際のコストは、間違った答えではなく、余分な作業として最初に現れ、ツールコールが43%増え、計算が2倍になり、収率は0.61から0.31に低下した。 エージェントは、それに到達する別の方法があるときに、正しい答えを見つけます。 第4に、7つのエージェントフレームワークに関する調査では、ツールが同じ安全でない方法で出力する2つが見つかった。 データのカットによって精度が低下するかどうかは、まだ未解決の問題だ。

関連論文リスト

• Task Success Is Not Enough: Side-effect-Aware Evaluation of Tool-Using Language Model Agents [30.440927198178414]
  ツールを使用する言語モデルエージェントは、通常、ユーザのタスクを終了するかどうかによって評価される。 私たちはこの障害モードを副次的損傷(CD)と呼ぶ。 私たちは、201のメール、カレンダー、チケットタスクのベンチマークであるSABenchを紹介します。
  論文  参考訳（メタデータ） (2026-10-25T08:54:08Z)
• What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation [3.539336171940828]
  LLMエージェントは、最終回答の正しさ、ツール検証、障害伝播などのラベルに対する実行トレースを減らすことでしばしば評価される。 我々はこれをGSM8K上に構築したツール利用設定で研究し、エージェントは時折出力が劣化する電卓を呼ぶ。 6つの生産モデルに3つのトレースレベル検出器と1つのモデルに30の問題を検査する。
  論文  参考訳（メタデータ） (2026-10-21T22:18:16Z)
• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
  我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。 兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。 障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
  論文  参考訳（メタデータ） (2026-10-07T13:29:59Z)
• ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time [0.40611352512781873]
  ArrivalBenchは、エージェントが残したパイプラインを再実行する。 オラクルは分類ではなく再計算するので、間違ったテーブルとクラッシュは別個の判断である。
  論文  参考訳（メタデータ） (2026-10-01T18:39:06Z)
• TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
  時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。 Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。 TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
  論文  参考訳（メタデータ） (2026-09-23T03:08:12Z)
• TriFleetRCA: On-Premise LLM Root Cause Analysis for Kubernetes [1.8136615181861766]
  本稿では,TriFleetRCAについて紹介する。TriFleetRCAは1つのオンプレミスGPU上で完全に動作するパイプラインである。 その後、BM25のテンプレート非複製でランク付けし、消化ガードを通してランブックをフィルタリングし、それをサポートするエビデンスラインで根本原因を返す。 我々は,4つの断層を注入するライブクラスタの評価を行った。
  論文  参考訳（メタデータ） (2026-09-20T17:34:18Z)
• Interface-Induced Trajectory Censoring [6.496285418517832]
  サービススタックから読み取るツールコール率について報告する。 その数はゼロになり得るが、モデルが十分に整った呼び出しを出力している。 ファンネルを Qwen2.5-Coder の 21 倍の範囲で再現する。
  論文  参考訳（メタデータ） (2026-09-03T15:00:31Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
  Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。 Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。 500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
  論文  参考訳（メタデータ） (2026-08-01T18:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。