論文の概要: LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation
- arxiv url: http://arxiv.org/abs/2609.39507v1
- Date: Wed, 30 Sep 2026 11:10:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.596327
- Title: LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation
- Title(参考訳): LIBERO-Agent: 直接循環操作のための汎用剤の評価
- Abstract要約: 汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
- 参考スコア(独自算出の注目度): 69.6306613959287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose agents can plan, use tools, and revise their behavior from feedback, but it remains unclear whether these capabilities transfer from digital environments to embodied manipulation. To investigate this question, we introduce LIBERO-Agent, an agent-native benchmark for evaluating these agents in robot manipulation tasks. Rather than asking agents to submit task-level Python control programs or operate through high-level robot skills, LIBERO-Agent provides an interactive robotic environment where agents can select which observations to inspect, process them with their own tools, and issue native action commands. LIBERO-Agent integrates 200 tasks into a common interaction framework and provides a 30-task primary suite that separates perception, short-horizon execution, and long-horizon composition. Results reveal a pronounced reliability gap: while agents perform well on perception and easy short-horizon tasks, their performance degrades substantially on hard short-horizon and long-horizon tasks. Richer observations improve short-horizon manipulation, while demonstration benefits depend on the agent and format. Among these agents, GPT-6 Astra achieves the strongest overall performance. Further analysis shows its major advantage lies in mechanism interaction, especially when sustained physical contact is needed, while its remaining failures stem from cross-stage interference and geometric errors.
- Abstract(参考訳): 汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
LIBERO-Agentは、エージェントにタスクレベルのPythonコントロールプログラムの提出やハイレベルなロボットスキルの操作を求めるのではなく、対話型ロボット環境を提供する。
LIBERO-Agentは200のタスクを共通のインタラクションフレームワークに統合し、知覚、短水平実行、長距離合成を分離する30タスクのプライマリスイートを提供する。
エージェントは知覚と簡単な短水平タスクでよく機能するが、そのパフォーマンスはハードな短水平タスクと長水平タスクで著しく低下する。
よりリッチな観測は短水平操作を改善する一方、デモンストレーションの利点はエージェントとフォーマットに依存する。
これらのエージェントのうち、GPT-6 Astraは全体的なパフォーマンスが最も高い。
さらなる分析では、特に持続的な物理的接触が必要な場合、メカニズムの相互作用に大きな利点があることが示され、残りの障害はステージ間の干渉と幾何学的誤りに由来する。
関連論文リスト
- Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents [12.703661629160571]
本稿では,自動的,動的,かつ使いやすい評価フレームワークであるAgentic CLEARを提案する。
エージェントの動作に関するテキストによる洞察を3つのレベル(システム、トレース、ノード)で生成する。
Agentic CLEARは可観測層の上で動作し、シームレスな統合と直感的なUIを特徴とする。
論文 参考訳(メタデータ) (2026-05-21T15:26:02Z) - AgentEscapeBench: Evaluating Out-of-Domain Tool-Grounded Reasoning in LLM Agents [35.967227261886435]
AgentEscapeBenchは、エージェントが明示的な長距離依存性制約の下で新しいツールの使用手順を推論、実行、修正できるかどうかをテストする。
16個のLDMエージェントとヒトの被験者による実験では、依存性の深さが増加するにつれて性能が急激に低下することが示された。
軌道解析は、主に長距離状態追跡、手がかり付着、中間相対伝播における故障をモデル化する。
論文 参考訳(メタデータ) (2026-05-08T15:59:27Z) - Beyond the Black Box: Interpretability of Agentic AI Tool Use [0.0]
本稿では,スパースオートエンコーダと線形プローブ上に構築された機械論的・解釈可能性ツールキットを提案する。
フレームワークは各アクションの前にモデル状態を読み出し、ツールが必要かどうか、そして次のツールアクションがいかに適切かの両方を推測する。
我々は、NVIDIA Nemotron関数呼び出しデータセットから多段階の軌道上のプローブをトレーニングし、GPT-OSS 20BとGemma 3 27Bモデルに同じワークフローを適用する。
論文 参考訳(メタデータ) (2026-05-07T19:47:30Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳(メタデータ) (2026-01-21T15:22:21Z) - From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness [5.572574491501413]
大規模言語モデル(LLM)は、テキスト生成を超えた現実的な影響で行動可能な自律エージェントとして、ますます多くデプロイされている。
テキスト生成におけるペルソナによるバイアスは十分に文書化されているが、エージェントタスクのパフォーマンスへの影響は未解明のままである。
人口動態に基づくペルソナ割り当ては, LLMエージェントの行動を変化させ, 様々な領域で性能を低下させることができることを示す最初のシステマティックケーススタディを示す。
論文 参考訳(メタデータ) (2026-01-21T02:43:07Z) - It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents [52.81924177620322]
大規模な言語モデルを利用したWebベースのエージェントは、メール管理やプロフェッショナルネットワーキングといったタスクにますます利用されている。
動的Webコンテンツへの依存は、インジェクション攻撃の引き金に弱い: インターフェース要素に隠された敵対的命令は、エージェントが元のタスクから逸脱するように説得する。
本稿では,タスクリダイレクトエージェントの説得ベンチマーク(TRAP)について紹介する。
論文 参考訳(メタデータ) (2025-12-29T01:09:10Z) - Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。
ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。
3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z) - Conveying Autonomous Robot Capabilities through Contrasting Behaviour
Summaries [8.413049356622201]
比較行動要約を効率的に生成する適応探索法を提案する。
この結果から,適応探索により,人間がより優れたエージェントを正確に選択できる情報コントラストのシナリオを効果的に特定できることが示唆された。
論文 参考訳(メタデータ) (2023-04-01T18:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。