論文の概要: AgentTime: Can Agents Estimate and Control Their Own Runtime?
- arxiv url: http://arxiv.org/abs/2610.09944v2
- Date: Thu, 08 Oct 2026 09:06:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.544304
- Title: AgentTime: Can Agents Estimate and Control Their Own Runtime?
- Title（参考訳）: AgentTime:エージェントは自身のランタイムを推定し、制御できるのか?
- Abstract要約: AgentTimeは、要求された期間にエージェントが動作するかどうかをテストするためのベンチマークである。
コーディング、コンピュータ使用、エージェントワーク、自動研究にまたがる18のソースからの222のタスクで構成されている。
- 参考スコア（独自算出の注目度）: 17.84830926691693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An essential control of AI agents is their ability to manage runtime. This ability requires a sense of time-awareness, to predict and estimate wall-clock time and to control their own actions. Prior work has focused on time-awareness, but duration-following and control in native agent harnesses remain unexplored. We present AgentTime, a benchmark for testing whether agents can work for a requested duration, predict their runtime, and estimate elapsed time afterward. It comprises 222 tasks from 18 sources spanning coding, computer use, agentic work, and automated research. Duration-following experiments append a single instruction specifying how long to work, with requests ranging from about a minute to multiple days. Accuracy on these instructions varies substantially: Fable 5.1 in Claude Code deviates from requested runtimes by a typical factor of 2.9$\times$, compared with only 1.2$\times$ for GPT-6 Astra in Codex. However, matching the requested runtime does not, by itself, establish continued work on the task. Among 158 reviewed Astra runs with classifiable transcripts, 14 explicitly slept after appearing to finish. In forecasting experiments, predictions tend to overestimate natural runtimes. In retrospective experiments, removing temporal information more than doubles deviation for Sol and Astra and nearly doubles it for Fable. An agent's ability to complete a task does not guarantee that it can control its own time or work for the whole requested duration. For agents to run reliably, safely, and autonomously over long horizons, we require the evaluation of both.
- Abstract（参考訳）: AIエージェントの基本的なコントロールは、ランタイムを管理する能力である。
この能力は、時間認識の感覚を必要とし、壁時計の時間を予測し、推定し、自身の行動を制御する。
以前の研究は時間認識に重点を置いていたが、ネイティブエージェントハーネスにおける時間追跡と制御は未調査のままである。
AgentTimeは、エージェントが要求された期間に動作可能かどうかをテストし、ランタイムを予測し、その後に経過した時間を見積もるベンチマークである。
コーディング、コンピュータ使用、エージェントワーク、自動研究にまたがる18のソースからの222のタスクで構成されている。
Duration-following実験では、1分間から数日間のリクエストで、作業期間を指定する1つの命令が追加されている。
Claude CodeのFable 5.1は、要求されたランタイムから2.9$\times$を逸脱するが、CodexのGPT-6 Astraは1.2$\times$のみである。
しかし、要求されたランタイムのマッチングは、それ自体は、タスクの継続的な作業を確立しない。
レビューされた158件のうち、Astraは分類可能な書き起こしで実行され、14件は終盤に現れた後、明示的に睡眠をとっていた。
予測実験では、予測は自然のランタイムを過大評価する傾向がある。
ふりかえりの実験では、時間情報の削除はSolとAstraの偏差を2倍にし、Fableにほぼ2倍にします。
エージェントがタスクを完了させる能力は、自身の時間や要求された期間全体を制御することを保証しない。
エージェントが長期間にわたって確実に、安全かつ自律的に動作するためには、両方の評価が必要である。
関連論文リスト
- RoboQuest: Generalist Physical Agents that Search, Inspect and Test [39.17463515070178]
目標指向の実施探索のためのベンチマークであるRoboQuestを紹介する。
RoboQuestには,検索,操作ベースの検査,インタラクティブテストという,3つの不確実性を中心とした10のモバイル操作タスクが含まれている。
我々は5つのフロンティアマルチモーダルエージェントを共通のビジュモータインタフェースで評価し、また、リリースした全エピソードのデモに基づいて、$_0.5$のポリシーを微調整した。
論文 参考訳（メタデータ） (2026-10-07T16:46:45Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳（メタデータ） (2026-10-01T12:55:07Z) - LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
論文 参考訳（メタデータ） (2026-09-30T11:10:10Z) - TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。
Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。
TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
論文 参考訳（メタデータ） (2026-09-23T03:08:12Z) - TomasuLLM: Out-of-Order Speculative Execution for LLM Agents [18.529521561107412]
TomasuLLMは、タスク実行の正確性を維持しながら、軌道順からエージェントツール呼び出しを実行する。
将来のアクションをドラフトし、独立したコピーオンライトサンドボックスで実行し、依存関係とエフェクトをトレースし、検証後にのみトラジェクティブオーダをコミットする。
サブ秒から数分のツールコールにまたがる3つのベンチマークで、TomasuLLMはレポートされたベンチマーク手段を改善し、ツールのレイテンシでスケールする。
論文 参考訳（メタデータ） (2026-09-22T03:41:35Z) - AI Research Preference Models [87.14303218008381]
研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。
フロンティア作業の進行は コストで妨げられています
我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
論文 参考訳（メタデータ） (2026-08-14T04:20:37Z) - Same Task, Different Work: Prompt-Induced Waste in Coding Agents [0.0]
2つのプロンプトは、同じコード変更を要求して、同じ正しいパッチを生成することができるが、コーディングエージェントは、根本的に異なる種類の作業を実行する。
この効果を,4,644回の有効実行,24個の決定論的コーディングタスク,7つの推論モデル,および2つの実エージェントハーネスにまたがる事前登録されたベンチマークで検討した。
論文 参考訳（メタデータ） (2026-08-02T16:10:02Z) - Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。
エージェントはデプロイ後、いつまで信頼できるのか?
エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-25T19:55:12Z) - How to Interpret Agent Behavior [56.59836196946289]
本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。
共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
論文 参考訳（メタデータ） (2026-05-13T14:52:40Z) - Can LLMs Perceive Time? An Empirical Investigation [0.8460698440162889]
大規模な言語モデルは、自分たちのタスクがどれくらいかかるかを見積もることはできない。
68のタスクと4つのモデルファミリーにまたがる4つの実験を通して、この制限について検討する。
モデルは、トレーニングから持続時間に関する命題的な知識を持っているが、自身の推論時間に経験的な根拠がない。
論文 参考訳（メタデータ） (2026-03-09T18:51:04Z) - HCAST: Human-Calibrated Autonomy Software Tasks [1.5287939112540956]
HCASTは189の機械学習エンジニアリング、サイバーセキュリティ、ソフトウェアエンジニアリング、一般的な推論タスクのベンチマークである。
HCASTタスクは1分から8時間以上かかると見積もっている。
我々は、フロンティア基礎モデルに基づいて構築されたAIエージェントの成功率を評価する。
論文 参考訳（メタデータ） (2025-03-21T17:54:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。