論文の概要: Push Your Agent: Measuring and Enforcing Quantitative Goal Persistence in Long-Horizon LLM Agents
- arxiv url: http://arxiv.org/abs/2605.23574v1
- Date: Fri, 22 May 2026 12:44:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.349214
- Title: Push Your Agent: Measuring and Enforcing Quantitative Goal Persistence in Long-Horizon LLM Agents
- Title（参考訳）: エージェントをプッシュする: 長期LDMエージェントの定量ゴール持続性の測定と強化
- Abstract要約: ロングホライズン言語エージェントは、要求されたカウントが実際に完了するまで多くの有効なローカルツールコールを行うことができるが、持続しない。
本稿では,このギャップを定量的ゴールパーシステンス(QGP)として検討する。
PushBenchはこれを、リポジトリアーティファクトコレクションと検証済みのワークユニットのベンチマークにする。
- 参考スコア（独自算出の注目度）: 7.058932007120959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon language agents can make many plausible local tool calls yet fail to persist until a requested count is actually complete. We study this gap as Quantitative Goal Persistence (QGP): whether an agent keeps working until an external verifier confirms enough distinct valid items. PushBench turns this into a benchmark for repository-artifact collection and verifier-backed work units, so repeated work, duplicate submissions, false completion, and progress drift are measured directly rather than hidden behind a final success flag. In matched controller comparisons, a state-tracking retrieval controller reaches 69-78% success while eliminating duplicate submissions, and a backlog-tracking work-unit controller reaches 25-50% success in settings where standard and completion-gated controllers complete no task instances. Black-box frontier-agent evaluations with Claude Code (Sonnet 4.6) and Codex CLI (gpt-5.4) solve many 50-artifact tasks but drop to 3 out of 9 successes per condition at 100 artifacts. The results show that quantitative goals stress a different reliability requirement from local task competence: agents must maintain verified progress and stop only when the requested work is complete.
- Abstract（参考訳）: ロングホライズン言語エージェントは、要求されたカウントが実際に完了するまで多くの有効なローカルツールコールを行うことができるが、持続しない。
本稿では,このギャップを定量的ゴールパーシステンス(QGP)として検討する。
PushBenchは、これをリポジトリアーティファクトコレクションと検証済みの作業ユニットのベンチマークにするので、最終成功フラグの背後に隠れるのではなく、繰り返しの作業、重複のサブミッション、偽の完了、進捗のドリフトを直接計測する。
一致したコントローラ比較では、状態追跡制御コントローラは重複を排除しながら69～78%成功し、バックログ追跡作業ユニットコントローラは、標準および完了ゲートコントローラがタスクインスタンスを完了しない設定で25～50%成功する。
Claude Code (Sonnet 4.6) と Codex CLI (gpt-5.4) によるブラックボックスのフロンティアエージェント評価は、50のタスクの多くを解決しているが、100のアーティファクトで条件付きで9つの成功のうち3つに落ちている。
その結果、定量的目標が局所的なタスク能力と異なる信頼性要件を強調していることが判明した: エージェントは検証された進捗を維持し、要求された作業が完了したときのみ停止しなければならない。
関連論文リスト
- The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution? [9.023267560784042]
最近の大規模言語モデルは、エージェントフレームワークがタスクを継続するか停止するかを決定するために使用するタスクプログレス信号を出力することができる。
我々は、この能力を、公開ベンチマーク2$-benchとStageIFで評価し、タスクのライフサイクル全体にわたってレポートチェックポイントを配置する制御されたテストベッドで評価する。
レポートの信頼性はタスクが到達した段階によって異なり、テスト対象のほぼすべてのモデルがある程度の段階で信頼性があり、他の段階では信頼性が低いことが分かっています。
論文 参考訳（メタデータ） (2026-09-08T11:25:31Z) - TraceGrant: A Contract-Governed Security Framework for the Task-Effect Lifecycle of Networked LLM Agents [7.080139152914316]
本稿では,ネットワーク化されたLLMエージェントのタスク・エフェクト・ライフサイクルを管理するセキュリティ・フレームワークであるTraceGrantを紹介する。
実行前にTraceGrantは、信頼されたユーザリクエストからタスク・エフェクト境界を確立する。
実行中、承認された証拠は、契約によって既に確立された権限のみをインスタンス化することができる。
実行後、実際のツール結果に対してタスク完了が検証される。
論文 参考訳（メタデータ） (2026-08-21T14:05:42Z) - One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows [2.281697288703173]
Thinkingboxはツールエージェントとユーザインタラクションのためのサンドボックスだ。
独立したMPP互換ツールセッション、完全な実行トレース、端末バックエンドに対する結果評価を提供する。
Thinkingboxbenchには、さまざまなシナリオにわたる507のベンチマークとステートコンディションベンチマークが含まれている。
論文 参考訳（メタデータ） (2026-08-20T07:37:57Z) - OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents [52.15259607762389]
自律型エージェントのための長距離ハーネスであるOneDayAgentを紹介する。
OneDayAgentはオープンなリクエストをマネージドな実行プロセスに変換する。
我々は104のタスクでAgentIF-OneDay上でOneDayAgentを評価する。
論文 参考訳（メタデータ） (2026-08-04T17:55:41Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - Verify-Gated Completion as Admission Control in a Governed Multi-Agent Runtime: A Bounded Architecture Case Study [0.6875312133832079]
制御されたマルチエージェントランタイムの入出力制御パターンとして,検証ゲート補完について検討する。
観測条件下では,読み取り専用検証ゲートとパケット化入力記録が検査可能で,フェールクロースされた。
論文 参考訳（メタデータ） (2026-05-18T07:52:13Z) - Good to Go: The LOOP Skill Engine That Hits 99% Success and Slashes Token Usage by 99% via One-Shot Recording and Deterministic Replay [14.181844060152367]
99%の成功率と99%のトークン削減を実現するシステムである LOOP SKILL ENGINE を提案する。
決定論的実行計画は、時間依存変数と結果依存変数をパラメータ化しながら、タスクの機能的意図をキャプチャする。
周期的エージェントタスクのベンチマークが5分から24時間に及ぶ間、Loop Skill Engineは毎月のトークン消費を93.3%--99.98%削減し、実行遅延を8.7倍削減し、出力非決定性を排除している。
論文 参考訳（メタデータ） (2026-05-14T01:05:35Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation [98.38575149237442]
VLAA-GUIは3つの統合コンポーネントを中心に構築されたモジュラーGUIフレームワークである。
必須完全性検証は、UIで観測可能な成功基準と検証を、各完了ステップで実施する。
強制的なループブレーカは、繰り返し失敗した後、多層切替インタラクションモードを提供する。
論文 参考訳（メタデータ） (2026-04-23T07:42:37Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging [41.754784344572286]
実際のシナリオでコードエージェントを評価するベンチマークであるGitTaskBenchをリリースしています。
各タスクは、自動化された人為的な評価ハーネスと関連するリポジトリをペアリングする。
また,エージェント性能の経済的利益を定量化するためのα値指標を提案する。
論文 参考訳（メタデータ） (2025-08-26T12:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。