論文の概要: The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution?

• arxiv url: http://arxiv.org/abs/2609.08589v1
• Date: Tue, 08 Sep 2026 11:25:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.635464
• Title: The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution?
• Title（参考訳）: 信頼できない進捗バー: LLMエージェントは実行中のタスク進捗を確実に報告できるか?
• Abstract要約: 最近の大規模言語モデルは、エージェントフレームワークがタスクを継続するか停止するかを決定するために使用するタスクプログレス信号を出力することができる。 我々は、この能力を、公開ベンチマーク2$-benchとStageIFで評価し、タスクのライフサイクル全体にわたってレポートチェックポイントを配置する制御されたテストベッドで評価する。 レポートの信頼性はタスクが到達した段階によって異なり、テスト対象のほぼすべてのモデルがある程度の段階で信頼性があり、他の段階では信頼性が低いことが分かっています。
• 参考スコア（独自算出の注目度）: 9.023267560784042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent large language models can emit task-progress signals that agent frameworks use to decide whether a task should continue or stop, yet whether a model can reliably report its task progress at every stage of a task, and where and how its reports fail, has not been studied systematically. We evaluate this ability on the public benchmark $τ^2$-bench and on StageIF, a controlled testbed in which reporting checkpoints are placed across the task's lifecycle. Both settings require reports at multiple task stages. We find that reporting reliability depends on the stage a task has reached, and that almost every deployed model we test is reliable at some stages and unreliable at others. Where reporting breaks down is not the same everywhere. Most deployed models lose accuracy once work is under way and recover once the task is done. The newest generation closes that mid-task drop and instead grows conservative at the finish line. Our study exposes a capability gap in task-progress reporting and provides an evaluation protocol that spans the whole course of task execution for this ability on which agent operation depends. The findings indicate that agent frameworks should not control task flow on the strength of the model's state reports alone.
• Abstract（参考訳）: 最近の大規模言語モデルでは、エージェントフレームワークがタスクの継続と停止を判断するために使用するタスクプログレス信号を出力することができるが、モデルがタスクのすべての段階でタスクの進捗を確実に報告できるかどうか、どのようにそのレポートが失敗するかは、体系的に研究されていない。 我々は、この能力を、公開ベンチマークの$τ^2$-benchと、タスクのライフサイクル全体にわたってレポートチェックポイントを配置する制御テストベッドStageIFで評価する。 どちらの設定も、複数のタスクステージでレポートを必要とする。 レポートの信頼性はタスクが到達した段階によって異なり、テスト対象のほぼすべてのモデルがある程度の段階で信頼性があり、他の段階では信頼性が低いことが分かっています。 レポートがダウンする場所は、どこでも同じではありません。 ほとんどのデプロイされたモデルは、作業が進行中になったら正確さを失い、タスクが完了したら回復します。 最新の世代は、その中盤の落ち込みを閉じ、代わりにフィニッシュラインで保守的になる。 本研究は,タスク・プログレス・レポートにおける能力ギャップを明らかにし,エージェント操作が依存するこの能力に対して,タスク実行の全過程にまたがる評価プロトコルを提供する。 その結果、エージェントフレームワークは、モデルのステートレポートのみの強度でタスクフローを制御すべきでないことが示唆された。

関連論文リスト

• AgentRewind: Recoverable Execution for Long-Horizon LLM Agents [32.44158037765297]
  我々は,エージェントコンテキストと制御環境の整列チェックポイントを記録するランタイムリカバリフレームワークであるAgentRewindを紹介する。 また,タスク完了と長期工学的課題の部分的進捗を評価するベンチマークであるMettleBenchを構築した。
  論文  参考訳（メタデータ） (2026-08-14T15:20:35Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
  固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。 現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。 最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
  論文  参考訳（メタデータ） (2026-07-10T12:25:57Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
  ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。 各リリースは、公開ワークフロー要求信号から構築される。 Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
  論文  参考訳（メタデータ） (2026-04-30T17:23:19Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• On the Reliability of Computer Use Agents [47.20065484006984]
  コンピュータ利用エージェントの信頼性の低下の原因を3つの要因から検討する。 信頼性は、タスクの指定方法と、エージェントの動作が実行毎に変化する方法の両方に依存します。
  論文  参考訳（メタデータ） (2026-04-20T05:59:04Z)
• Learning Stable Classifiers by Transferring Unstable Features [59.06169363181417]
  本研究では,素早い相関関係の存在下での伝達学習について検討する。 提案手法は, ソースタスクで学習した安定な特徴抽出器を直接転送しても, 対象タスクのバイアスを排除できないことを実験的に実証する。 我々は、ソースタスクの不安定な特徴とターゲットタスクの不安定な特徴が直接関連していると仮定する。
  論文  参考訳（メタデータ） (2021-06-15T02:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。