Fugu-MT 論文翻訳(概要): Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents

論文の概要: Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents

arxiv url: http://arxiv.org/abs/2610.32429v1
Date: Fri, 23 Oct 2026 09:53:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 01:38:06.487604
Title: Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents
Title（参考訳）: Async-RBench: LLMエージェントにおける非同期タスク実行のベンチマーク
Abstract要約: 大規模言語モデル(LLM)エージェントは、ますます非同期にタスクを実行する。最終的なタスクの成功だけでは、これらの結果が正しく処理されたかどうかを明らかにしません。 LLMエージェントにおける非同期タスク実行のベンチマークであるAsync-RBenchを紹介する。
参考スコア（独自算出の注目度）: 15.0319253262294
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM) agents increasingly execute tasks asynchronously: a main agent continues working while its subagents run, and the task state may change before their results arrive. The main agent must decide which work to update or preserve and which checks to repeat, while avoiding prohibited changes. Final task success alone does not reveal whether these results were handled correctly, and natural asynchronous arrivals are hard to reproduce. We introduce Async-RBench, a benchmark for asynchronous task execution in LLM agents, with 200 executable tasks covering eight scenarios. A scenario controller regulates result delivery using predefined task-state conditions, while an Event Response Contract (ERC) specifies what each response must change, preserve, avoid, and re-verify. The Dynamic Replanning Score (DRS) weights the response process and outcome equally and is reported separately from task success. We evaluate nine agents and find DRS scores of 19.2 to 45.1, with the lowest scores on duplicate reports and subagent failures. Under our execution protocol, all nine agents obtain lower task success with asynchronous than with batched delivery (26.0% vs. 29.7% on average). For three agents, prompting the main agent to rebuild its plan after every result improves DRS by only 2.6 to 3.5 points. Together, these findings highlight the challenges of reliable asynchronous task execution and the need to evaluate how agents handle incoming results alongside end-to-end task success.
Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、ますます非同期にタスクを実行する。メインエージェントは、サブエージェントが実行中に動作し続け、結果が到着する前にタスク状態が変更される可能性がある。メインエージェントは、変更の禁止を回避しつつ、更新または保存する作業とリピートするチェックを決定する必要がある。最終的なタスクの成功だけでは、これらの結果が正しく処理されたかどうかを明らかにしておらず、自然な非同期到着は再現が難しい。 LLMエージェントで非同期タスクを実行するベンチマークであるAsync-RBenchを導入し、8つのシナリオをカバーする200の実行可能なタスクを紹介した。シナリオコントローラは、事前に定義されたタスク状態条件を使用して結果の配信を規制し、イベントレスポンス契約(ERC)は、各レスポンスが変更すべきものを定義し、保存し、回避し、再検証する。 Dynamic Replanning Score (DRS)は、レスポンスプロセスと結果が等しく重くなり、タスクの成功とは別々に報告される。 9因子を評価し, DRSスコアが19.2から45.1であり, 重複報告とサブエージェント障害のスコアが最も低い。実行プロトコルでは、9つのエージェントがバッチ配信よりも非同期でタスクの成功率が低い(平均で26.0%対29.7%)。 3つのエージェントに対して、すべての結果がRSをわずか2.6から3.5ポイント改善した後、メインエージェントに計画を再構築するよう促す。これらの知見は、信頼性の高い非同期タスク実行の課題と、エンドツーエンドのタスク成功と同時に、エージェントが入ってくる結果をどのように扱うかを評価する必要性を強調している。

関連論文リスト

SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
論文参考訳（メタデータ） (2026-10-23T05:47:59Z)
LAGO: Language Agents with Reusable Growing Options [39.6238385436553]
LAGOは、特殊言語エージェントを時間的に拡張された再利用可能なオプションとして扱う。メタエージェントは永続ライブラリからオプションを検索するか、新しいものを生成し、サブタスクをディスパッチし、結果を検証し、新しいオプションを成功させる。
論文参考訳（メタデータ） (2026-10-14T09:12:47Z)
SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。 4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文参考訳（メタデータ） (2026-09-02T07:31:18Z)
AgentRewind: Recoverable Execution for Long-Horizon LLM Agents [32.44158037765297]
我々は,エージェントコンテキストと制御環境の整列チェックポイントを記録するランタイムリカバリフレームワークであるAgentRewindを紹介する。また,タスク完了と長期工学的課題の部分的進捗を評価するベンチマークであるMettleBenchを構築した。
論文参考訳（メタデータ） (2026-08-14T15:20:35Z)
OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents [52.15259607762389]
自律型エージェントのための長距離ハーネスであるOneDayAgentを紹介する。 OneDayAgentはオープンなリクエストをマネージドな実行プロセスに変換する。我々は104のタスクでAgentIF-OneDay上でOneDayAgentを評価する。
論文参考訳（メタデータ） (2026-08-04T17:55:41Z)
AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。 AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文参考訳（メタデータ） (2026-07-11T00:57:36Z)
On the Reliability of Computer Use Agents [47.20065484006984]
コンピュータ利用エージェントの信頼性の低下の原因を3つの要因から検討する。信頼性は、タスクの指定方法と、エージェントの動作が実行毎に変化する方法の両方に依存します。
論文参考訳（メタデータ） (2026-04-20T05:59:04Z)
Robotouille: An Asynchronous Planning Benchmark for LLM Agents [7.574421886354134]
非同期計画は、時間遅延、多種多様な長期タスクの理由付け、他のエージェントとの協力を必要とするエージェントにとって不可欠である。我々は、長時間の非同期シナリオを処理するエージェントの能力をテストするために設計されたベンチマーク環境であるRobotouilleを紹介する。結果から,ReAct(gpt4-o)は同期タスクでは47%,非同期タスクでは11%に過ぎなかった。
論文参考訳（メタデータ） (2025-02-06T05:50:37Z)
Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文参考訳（メタデータ） (2024-05-13T14:54:37Z)
A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks [111.34055449929487]
エージェントが協力して家具をリビングルームに移動させるという,新しいタスクFurnMoveを紹介した。既存のタスクとは異なり、FurnMoveはエージェントが各タイミングで調整する必要がある。既存の分散化されたアクションサンプリング手順は、表現力のある共同アクションポリシーを許さない。 SynC-policiesとCORDIALを用いて、我々のエージェントはFurnMoveで58%の完成率を達成する。
論文参考訳（メタデータ） (2020-07-09T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。