論文の概要: How Fast Do Agents Rot? An Empirical Study of Long-Horizon Degradation in LLM Agents for Production Decision-Making

• arxiv url: http://arxiv.org/abs/2609.01660v1
• Date: Mon, 31 Aug 2026 19:11:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.646682
• Title: How Fast Do Agents Rot? An Empirical Study of Long-Horizon Degradation in LLM Agents for Production Decision-Making
• Title（参考訳）: エージェントの回転速度はどれくらいか? 生産決定のためのLLMエージェントの経時劣化に関する実証的研究
• Abstract要約: 大規模言語モデル(LLM)エージェントのプロダクションデプロイメントは、ベンチマーク成功率が着実に上昇しても、長期間のマルチステップでは信頼性が低いままである。 この効果を直接測定し, 分解剤の形状を特徴付けるとともに, その原因を解明する。 エージェントのオーケストレーションと信頼性を大規模に管理するチームにとって、これらの結果は地平線を考慮した評価と信頼性の予算化を主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Production deployments of large language model (LLM) agents remain unreliable on long, multi-step workflows even as benchmark success rates climb steadily. We argue this gap is largely an artifact of task horizon: benchmarks are dominated by short-to-medium horizons where success remains high, while production workloads demand an order of magnitude more dependent steps. We measure the effect directly, characterizing the shape of agent degradation and disentangling its cause across a large controlled study spanning nine models, six open models from 1.2B to 671B parameters, and three deployed proprietary systems; four task families, including a genuinely agentic tool-use loop; five horizons; and three context regimes. Task success follows a geometric law governed by a single per-step reliability parameter, which rises with model scale but saturates well below 1 even for the strongest models, guaranteeing eventual collapse at sufficiently long horizons. The effect is sharpest on the agentic task, where every model tested, including widely deployed systems, falls from near-perfect success to near zero within sixteen steps of (n=10,664 analyzed trajectories. Degradation is driven by step count rather than context length: bounding the context window steepens decay rather than easing it (logit slope -0.69 vs. -0.44), p=3x10-6), contradicting a lost-in-the-middle explanation and warning against a common production shortcut. Projecting measured reliability onto representative benchmark horizons quantifies a substantial gap between benchmark and production conditions, from 0.42 at GAIA-length horizons to 0.24 at hundred-step production horizons. For teams responsible for agent orchestration and reliability at scale, these results argue for horizon-aware evaluation and reliability budgeting in place of aggregate pass-rate metrics. Code, prompts, seeds, and raw trajectories are released.
• Abstract（参考訳）: ベンチマーク成功率が着実に上昇しても、大規模言語モデル(LLM)エージェントの運用デプロイメントは、長時間のマルチステップワークフローでは信頼性が低いままである。 ベンチマークは、成功が引き続き高い短期間の水平線に支配されているのに対して、運用ワークロードは、桁違いに依存度の高いステップを必要としているのです。 9つのモデル、1.2Bから671Bパラメータの6つのオープンモデル、および3つのプロプライエタリシステム、真にエージェントツール使用ループを含む4つのタスクファミリ、5つの水平線、および3つのコンテキスト構造にまたがる大きな制御された研究において、エージェント劣化の形状を特徴付ける。 タスク成功は、単一のステップ毎の信頼性パラメータによって支配される幾何学的な法則に従っており、モデルスケールで上昇するが、最強のモデルであっても1よりかなり下方に飽和し、十分に長い地平線で最終的に崩壊することを保証する。 この効果は、広く配備されたシステムを含む全てのモデルが16ステップ (n=10,664) 分析軌道のほぼ完全な成功からほぼゼロに落ちるエージェントタスクにおいて最も鋭い。 コンテキストウィンドウのバウンディングは、それを緩和するのではなく、崩壊を減少させる(ログスロープ -0.69 vs. -0.44), p=3x10-6)。 代表的なベンチマークの地平線に測定された信頼性を投影すると、ベンチマークと生産条件の間には、GAIAの地平線で0.42から100ステップの生産地平線で0.24まで、かなりのギャップがある。 エージェントのオーケストレーションと大規模な信頼性を担当するチームにとって、これらの結果は、総合的なパスレートメトリクスの代わりに水平線対応の評価と信頼性の予算化を主張する。 コード、プロンプト、シード、生の軌跡が解放される。

関連論文リスト

• BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents [20.217145643468598]
  我々は、長距離ツール使用エージェントの軌道レベルの安全校正のためのベンチマークであるBlindspotを紹介する。 Blindspotは、適応的な対角的相互作用、ステートフルなツールの実行、実行に基づく適応を通じて、完全なユーザ-エージェント-環境トラジェクトリを評価する。 安全でない完成度, 適切な拒絶性, 便宜性, 過度な拒絶性, 繰り返し発生する頑健性, 拒絶後の失敗などをカバーする8つの指標を用いて, 13のプロプライエタリかつオープンウェイトLCMを評価した。
  論文  参考訳（メタデータ） (2026-09-14T20:12:27Z)
• GuardianAgentBench: Where Agents Fail and How to Guard Them [1.5223648595073074]
  GuardianAgentBenchは、プロダクション対応の3つのフレームワークで評価された6つのドメインにわたる580のシナリオのベンチマークである。 最強の構成でさえ、全体的な精度は74.8%に過ぎず、2つの異なる障害体制を明らかにしている。 我々のガードレールの実装は、全てのモデルにおけるシステムプロンプトベースの防御を一貫して上回り、19.9%の障害をわずか0.5%の偽陽性率で回復させる。
  論文  参考訳（メタデータ） (2026-07-23T07:05:05Z)
• A Systematic Evaluation of Trajectory Data Curation for LoRA Fine-Tuning of Code Agents [0.0]
  専門的エージェント軌道上のオープンウェイトLSMの微調整が、有能なコードエージェントを構築するための顕著なアプローチとして現れている。 本稿では,SWEトラジェクトリデータセット上でのQwen2.5-Coder-7B-InstructのLoRA微調整のためのトラジェクトリデータフィルタリングの系統的研究について述べる。 我々は,2軸品質評価フレームワークである効率とスタイルを提案し,戦略,スケール,アブレーション分析にまたがる16の制御実験を通じて評価する。
  論文  参考訳（メタデータ） (2026-07-19T11:52:32Z)
• Can LLM Agents Respond to Disasters? Benchmarking Heterogeneous Geospatial Reasoning in Emergency Operations [55.251494694783894]
  災害対応エージェントベンチマーク(DORA)は、エンド・ツー・エンドの災害対応のための最初のエージェントベンチマークである。 タスクは、災害認識、空間関係分析、救助・避難計画、時間的進化推論、マルチモーダルレポート合成という、災害対応パイプラインをカバーする5つの次元にまたがる。 DORAは、運用上の信頼性の高い災害対応エージェントのための厳格なテストベッドを確立する。
  論文  参考訳（メタデータ） (2026-05-12T06:57:41Z)
• The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break [69.91172974854422]
  HORIZONは、大規模言語モデル(LLM)エージェントの長期障害挙動を解析するためのクロスドメイン診断ベンチマークである。 我々は,複数のモデルファミリーのSOTA(State-of-the-art)エージェントを評価し,水平方向依存劣化パターンについて検討した。 本研究は, 長期薬物障害の系統的, クロスドメイン解析への最初の方法論的ステップを提供する。
  論文  参考訳（メタデータ） (2026-04-13T19:11:42Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
  ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。 リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。 1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
  論文  参考訳（メタデータ） (2026-04-02T13:26:20Z)
• Beyond pass@1: A Reliability Science Framework for Long-Horizon LLM Agents [0.0]
  既存のベンチマークは、モデルがひとつの試みで成功するかどうかを計測しますが、本番環境のデプロイメントには信頼性が必要です。 信頼性劣化曲線(RDC)、可変増幅係数(VAF)、グレースフル劣化スコア(GDS)、メルトダウンオンセットポイント(MOP)の4つの指標を持つ長期LDMエージェントに対する信頼性科学フレームワークを導入する。 23,392エピソードにわたる10のモデルを,4つの持続バケットと3つのドメインにまたがる396タスクベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-31T03:56:39Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。