論文の概要: MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures
- arxiv url: http://arxiv.org/abs/2610.13534v1
- Date: Fri, 09 Oct 2026 12:54:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.584335
- Title: MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures
- Title（参考訳）: MAGMA-Bench: 動的タスクと実行障害下でのロングホライゾン・エボディード・エージェントの評価
- Abstract要約: 動的マルチロボット環境における永続的タスク推論のためのアーキテクチャに依存しないベンチマークであるMAGMA-Benchを紹介する。
ローカルにデプロイ可能なオープンウェイトプランナ,マルチエージェント状態追跡戦略,フロンティアモデルを評価した。
ベンチマーク、タスクレベルのトレーニング例261,646、アーキテクチャに依存しないエキスパートトレース生成パイプラインをリリースしています。
- 参考スコア（独自算出の注目度）: 1.0074626918268836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon embodied agents must maintain task-relevant information, coordinate heterogeneous robots, and adapt their decisions as execution unfolds. Existing benchmarks investigate dynamic task execution and embodied multi-agent coordination, but provide limited evaluation of their intersection. We introduce MAGMA-Bench, an architecture-agnostic benchmark for persistent task reasoning in dynamic multi-robot environments. MAGMA-Bench evaluates agents across increasing task horizons and controlled online perturbations, including execution failures, task interruptions, and mission updates, with scenarios requiring coordination across robots with heterogeneous capabilities. It uses a structured skill-level interface to separate task-level reasoning from perception and low-level control. We evaluate locally deployable open-weight planners, multi-agent state-tracking strategies, and frontier models. Even the strongest evaluated models fail on a substantial fraction of clean episodes, and their success rates decrease further under online perturbations. Supervised adaptation greatly improves a small model, but performance remains substantially lower on longer and multi-robot missions. We release the benchmark, 261,646 task-level training examples, and an architecture-agnostic expert-trace generation pipeline.
- Abstract（参考訳）: ロングホライゾン・エンボディード・エージェントはタスク関連情報を保持し、異種ロボットを調整し、実行が展開するにつれてその決定を適応させなければならない。
既存のベンチマークでは,動的タスクの実行とマルチエージェントの協調が検討されているが,交点の評価は限られている。
動的マルチロボット環境における永続的タスク推論のためのアーキテクチャに依存しないベンチマークであるMAGMA-Benchを紹介する。
MAGMA-Benchは、タスクホライズの増加と、実行障害、タスク中断、ミッション更新など、オンラインの摂動を制御するエージェントを評価する。
構造化されたスキルレベルのインターフェースを使用して、タスクレベルの推論を知覚と低レベルの制御から分離する。
ローカルにデプロイ可能なオープンウェイトプランナ,マルチエージェント状態追跡戦略,フロンティアモデルを評価した。
最も評価の高いモデルでさえ、クリーンなエピソードのかなりの部分で失敗し、その成功率は、オンラインの混乱の下でさらに減少する。
改良された適応は小さなモデルを大幅に改善するが、長いロボットや複数ロボットのミッションでは性能が大幅に低下している。
ベンチマーク、タスクレベルのトレーニング例261,646、アーキテクチャに依存しないエキスパートトレース生成パイプラインをリリースしています。
関連論文リスト
- RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments [91.39996227368]
汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。
ロボットのインタフェースを通じて、指示や観察を物理的タスクの実行に変換するという、ロボット利用のための挑戦的なシミュレーションテストベッドであるRobotWorldを紹介した。
タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
論文 参考訳（メタデータ） (2026-10-07T16:55:24Z) - LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
論文 参考訳（メタデータ） (2026-09-30T11:10:10Z) - DynaHMRC: Decentralized Heterogeneous Multi-Robot Collaboration for Dynamic Tasks with Large Language Models [22.32105733545791]
大規模言語モデル(LLM)は、よりリッチなタスク理解と適応性を備えたロボットを提供する。
この可能性にもかかわらず、いくつかの課題は未解決のままである。
本研究では,各ロボットが役割認識型LLMエージェントとして機能する分散フレームワークDynaHMRCを提案する。
論文 参考訳（メタデータ） (2026-06-12T18:41:30Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳（メタデータ） (2026-05-28T01:05:50Z) - From Reaction to Anticipation: Proactive Failure Recovery through Agentic Task Graph for Robotic Manipulation [45.37258918150899]
本稿では,操作タスクを有向タスクグラフとしてモデル化するエージェントシステムであるAgentChordを紹介する。
実行前に、このグラフには、コンテキスト対応の修正動作を指定する予測リカバリブランチが組み込まれている。
多様な長距離双方向操作タスクに関する実証研究は、AgentChordが成功率と実行効率を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-05-12T11:00:45Z) - UMBRELLA: Uncertainty-aware Multi-robot Reactive Coordination under Dynamic Temporal Logic Tasks [5.794342083222513]
本稿では,動的および移動目標を含む協調作業のためのマルチロボットシステムのコーディネート問題に対処する。
コンフォーマル予測(CP)による目標運動予測の不確かさを明示的にモデル化する。
提案するフレームワーク (UMBRELLA) は,MCTS (Monte Carlo Tree Search) を部分計画と不確実性を考慮したロールアウトに組み合わせたものだ。
論文 参考訳（メタデータ） (2026-03-26T12:40:04Z) - LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces [65.11019654023978]
LongCLI-Benchは、長期にわたる現実的なタスクにまたがるエージェント能力を評価するために設計されたベンチマークである。
私たちは、1000以上のコンピュータサイエンスの課題と現実世界のタスクから、20の高品質で長い水平タスクをキュレートしました。
実験によると、最先端のエージェントでさえLongCLI-Benchの20%未満のパスレートを達成する。
論文 参考訳（メタデータ） (2026-02-15T23:12:57Z) - REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳（メタデータ） (2025-03-28T03:51:40Z) - TDAG: A Multi-Agent Framework based on Dynamic Task Decomposition and Agent Generation [41.21899915378596]
動的タスク分解・エージェント生成(TDAG)に基づくマルチエージェントフレームワークを提案する。
このフレームワークは複雑なタスクを小さなサブタスクに動的に分解し、それぞれが特定の生成されたサブエージェントに割り当てる。
ItineraryBenchは、さまざまな複雑さのタスク間でのメモリ、計画、ツール使用量のエージェントの能力を評価するように設計されている。
論文 参考訳（メタデータ） (2024-02-15T18:27:37Z) - Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal
Constraints [52.58352707495122]
本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。
都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
論文 参考訳（メタデータ） (2020-05-27T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。