論文の概要: JARVIS: From Visual Manuals to Autonomous Robotic Assembly
- arxiv url: http://arxiv.org/abs/2610.27618v1
- Date: Tue, 20 Oct 2026 04:32:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.634557
- Title: JARVIS: From Visual Manuals to Autonomous Robotic Assembly
- Title（参考訳）: JARVIS:ビジュアルマニュアルから自律ロボットアセンブリへ
- Abstract要約: 本稿では,JARVISについて紹介する。JARVISは自律的な視覚的手動実行のためのメソッドに依存しないベンチマークで,追加の言語命令を使わずに導入する。
JARVISは8,987シーンで236,679のLEGO組み立てタスクと、対話型ロボット評価のための50のタスクからなるJARVIS-v1スイートで構成されている。
構造対応評価プロトコルは、幾何的精度、構造関係、構築順序、部分進行、完了をキャプチャする。
- 参考スコア（独自算出の注目度）: 21.351342879476178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual manuals communicate procedural knowledge through stepwise diagrams, but translating these instructions into reliable long-horizon robotic execution remains challenging. We introduce JARVIS, a method-agnostic benchmark for autonomous visual-manual-guided execution without additional language instructions. JARVIS comprises 236,679 LEGO assembly tasks across 8,987 scenes, with a carefully curated JARVIS-v1 suite of 50 tasks for interactive robotic evaluation. Tasks span varying initial structural complexities and assembly horizons, requiring agents to interpret manuals, ground actions in an evolving workspace, and execute the intended procedure. A structure-aware evaluation protocol captures geometric accuracy, structural relations, construction order, partial progress, and completion. We further introduce JARVIS-agentic, a tool-grounded embodied agent that composes robot primitives into executable programs and uses execution feedback for verification and recovery, without task-specific action trajectories or model parameter updates. Across nine multimodal and reasoning models, task-oriented primitives increase the average assembly score. Performance nevertheless declines sharply with assembly horizon, and execution errors remain difficult to correct. Prior-task experience improves initial performance, while repeated reflection provides inconsistent benefits, highlighting persistent limitations in connecting visual procedural reasoning with reliable physical execution.
- Abstract（参考訳）: 視覚マニュアルは、ステップワイズ図を通して手続き的な知識を伝達するが、これらの指示を信頼できる長距離ロボット実行に変換することは依然として困難である。
本稿では,JARVISについて紹介する。JARVISは自律的な視覚的手動実行のためのメソッドに依存しないベンチマークで,追加の言語命令を使わずに導入する。
JARVISは8,987シーンで236,679のLEGO組み立てタスクと、対話型ロボット評価のための50のタスクからなるJARVIS-v1スイートで構成されている。
タスクは、初期構造的な複雑さとアセンブリの地平線にまたがっており、エージェントはマニュアルを解釈し、進化するワークスペースで接地アクションを解釈し、意図した手順を実行する必要がある。
構造対応評価プロトコルは、幾何的精度、構造関係、構築順序、部分進行、完了をキャプチャする。
JARVIS-agenticは、ロボットプリミティブを実行可能なプログラムに構成し、タスク固有のアクショントラジェクトリやモデルパラメータの更新なしに、実行フィードバックを使用して検証とリカバリを行う。
9つのマルチモーダルおよび推論モデルにおいて、タスク指向プリミティブは平均的なアセンブリスコアを増加させる。
それでも、アセンブリの地平線によってパフォーマンスは急激に低下し、実行エラーの修正は難しいままです。
プレタスク体験は初期パフォーマンスを改善し、反復リフレクションは一貫性のないメリットを提供し、視覚的手続き推論と信頼性のある物理的実行を接続する際の永続的な制限を強調している。
関連論文リスト
- Proactive Physical AI through Continuous Observation and Timely Intervention [67.51229925917208]
ProAgentは2つのコンポーネントを中心に構築されたエンドツーエンドシステムである。
Jevスタイルのプロアクティブタイミングモデルは、介入が必要かどうかを判断する。
Response Modelは、人に対するレスポンスを生成したり、物理的実行のために利用可能なデバイス機能を呼び出す。
論文 参考訳（メタデータ） (2026-10-12T15:33:34Z) - SWE-MILE: Asynchronous Potential-Induced Milestone Credit Assignment for Long-Horizon Software Engineering Agents [52.92536111845184]
SWE-MILEは、ワークフローランタイムからきめ細かいプロセス監視を導出するプロセス監視フレームワークである。
非同期シャドウプローブは、分離されたサンドボックス内のリポジトリ変更アクションを再生し、エージェントのプライマリインタラクションと並行して検証を実行する。
2つの代表的な長期SWEタスクの実験は、エージェント性能を大幅に改善したことを示している。
論文 参考訳（メタデータ） (2026-09-26T13:49:14Z) - RAPID: Robot Agentic Programming from Demonstrations [47.78221527883912]
この研究は、ロボットプログラムを自動生成し、検証し、洗練するロボットエージェントプログラミング(RAPID)を導入している。
すべての実験において、RAPIDはオブジェクトのポーズ、形状、材料、環境を一般化し、強い性能を示した。
論文 参考訳（メタデータ） (2026-09-24T17:58:21Z) - Towards Neuro-Symbolic Procedural Reasoning for Long-Horizon Vision-Language-Action Manipulation [12.461719086222788]
視覚言語アクション(VLA)モデルは短い操作スキルを実行することができるが、長い水平手順では不安定である。
本稿では,学習したVLA制御と明示的なタスクグラフ,マルチモーダル・プロシージャ記憶を組み合わせたニューロシンボリック・フレームワークについて検討する。
論文 参考訳（メタデータ） (2026-09-04T17:14:50Z) - A Task-State Representation for Long-Horizon Mobile GUI Agents [53.359524744953575]
Task-State Representation (TSR)は、感覚入力からタスク状態を明示的に分離する、トレーニング不要のフレームワークである。
4つのモバイルGUIベンチマークによる実験では、TSRの有効性が検証され、成功率が12ポイントまで向上した。
論文 参考訳（メタデータ） (2026-07-01T06:37:21Z) - ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop [1.4279471205248535]
ProcAgentは、NVIDIA Jetson AGX Orinのリアルタイム適応ガイダンスのための視覚ベースのプロシージャアシスタントである。
ProcAgentは知覚精度,推論,タスクレベルのパフォーマンス,ユーザエクスペリエンスの4つの側面で評価する。
論文 参考訳（メタデータ） (2026-06-09T17:56:28Z) - Retrieval-Augmented Robots via Retrieve-Reason-Act [5.93914911947526]
我々は、ロボットが受動的執行者からアクティブな情報検索ユーザーへと進化する必要があると主張している。
以前のデモが存在しない厳密なゼロショット設定では、ロボットは重要な情報ギャップに直面している。
このパラダイムをRetrieval-Augmented Robotics (RAR) と定義し,ロボットに情報探索機能を持たせる。
論文 参考訳（メタデータ） (2026-03-03T07:32:15Z) - ActionEngine: From Reactive to Programmatic GUI Agents via State Machine Memory [3.279665979821265]
ActionEngineは、リアクティブ実行からプログラム計画に移行する、トレーニング不要のフレームワークである。
我々のエージェントは、平均して1回のLDMコールで95%のタスク成功を達成するが、最強のビジョンのみのベースラインでは66%である。
論文 参考訳（メタデータ） (2026-02-24T03:03:18Z) - DISCO: Embodied Navigation and Interaction via Differentiable Scene Semantics and Dual-level Control [53.80518003412016]
人間の命令によって多様なタスクに熟練した汎用的なインテリジェントホームアシストエージェントを構築することは、AI研究の長期的青写真である。
本研究では,具体的エージェントに対する原始的移動操作,すなわち指示された動詞と名詞のペアに基づいて,ナビゲートと対話の仕方について検討する。
本研究では、文脈化されたシーンモデリングと効率的な制御における非自明な進歩を特徴とするdisCOを提案する。
論文 参考訳（メタデータ） (2024-07-20T05:39:28Z) - JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents [59.091663077007304]
JARVISは,モジュール型,一般化可能,解釈可能な対話型エンボディドエージェントのための,ニューロシンボリック・コモンセンス推論フレームワークである。
我々のフレームワークは、ダイアログヒストリー(EDH)、TfD、Two-Agent Task Completion(TATC)を含む3つのダイアログベースの実施タスクに対して、最先端(SOTA)結果を達成する。
私たちのモデルは、Alexa Prize SimBot Public Benchmark Challengeで第1位です。
論文 参考訳（メタデータ） (2022-08-28T18:30:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。