論文の概要: WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation
- arxiv url: http://arxiv.org/abs/2606.26443v1
- Date: Wed, 24 Jun 2026 23:13:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.098408
- Title: WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation
- Title（参考訳）: WatchAct: 行動収集ロボットマニピュレーションのベンチマーク
- Abstract要約: WatchActは、観察された人間の行動に基づくロボット操作のベンチマークである。
WatchActは4つの機能ドメインで14タスクにわたる3,000のロングホライゾンインスタンスで構成されている。
シミュレーションとFranka Research 3ロボットの両方で、現在のシステムはWatchActの解決には程遠い。
- 参考スコア（独自算出の注目度）: 49.31386176285509
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A robot working alongside people must reason about what they have done, in what order, and with what intent. Video carries the spatial layouts, object histories, and gestures that language leaves underspecified, yet today's manipulation benchmarks pair an instruction with a single current image, offering no way to evaluate reasoning over observed human behavior. We introduce WatchAct, a benchmark for robot manipulation grounded in observed human behavior. Each instance pairs a real-world human-action video and a language instruction with an aligned simulator scene and an executable LIBERO task, enabling scalable and reproducible evaluation. WatchAct comprises 3,000 long-horizon instances across 14 tasks in four capability domains drawn from the cognitive demands of watching another agent: parsing events (Event Grounding), recovering procedural structure (Procedural Reasoning), inferring unstated intent (Implicit Intent Inference), and tracking how the scene was changed (Episodic Reasoning). We further propose a disentangled evaluation protocol that separately measures (i)~video-to-plan reasoning by vision-language models, (ii)~policy execution under oracle plans, and (iii)~full task completion by integrated planner--policy pipelines. In both simulation and on a Franka Research 3 robot, current systems remain far from solving WatchAct. The best pipeline, Gemini-3.1-Pro with $π_{0.5}$, reaches only 16.3% Success Rate (SR) in simulation and 14.0% on the real robot. Gemini-3.1-Pro attains just 36.8% Plan SR (vs. 97.1% for humans), while $π_{0.5}$ reaches only 21.5% Task SR under oracle plans and drops to 10.6% on out-of-domain scenarios. Dataset and code are available at https://baiqi-li.github.io/watchact_page/.
- Abstract（参考訳）: 人々と一緒に働くロボットは、何をしたのか、何の順番で、何の意図で説明しなければならない。
ビデオには、言語が未定義のまま残した空間的レイアウト、オブジェクト履歴、ジェスチャーが含まれているが、今日のベンチマークでは、現在の1つのイメージとインストラクションを組み合わせ、観察された人間の振る舞いに対する推論を評価する手段を提供していない。
観察された人間の行動に基礎を置いたロボット操作のためのベンチマークであるWatchActを紹介する。
各インスタンスは、実世界のヒューマンアクションビデオと言語命令と、アライメントシミュレータシーンと実行可能なLIBEROタスクとをペアリングし、スケーラブルで再現可能な評価を可能にする。
WatchActは、イベントのパーシング(イベントグラウンド)、手続き的構造の回復(手続き的推論)、未定の意図の推論(インスペクティブ・インテント推論)、シーンの変更の追跡(エピソード推論)という、他のエージェントの認知的要求から引き出された4つの機能領域において、14のタスクにまたがる3000のロングホライゾンインスタンスで構成されている。
さらに,別々に測定する不整合評価プロトコルを提案する。
(i)-ヴィジュアル言語モデルによるビデオ・ツー・プラン推論
(ii)-宣誓供述書に基づく政治執行、及び
(iii) - 統合型プランナー-政治パイプラインによる完全なタスク補完。
シミュレーションとFranka Research 3ロボットの両方で、現在のシステムはWatchActの解決には程遠い。
最も優れたパイプラインは、$π_{0.5}$のGemini-3.1-Proで、シミュレーションでは16.3%の成功率(SR)、実際のロボットでは14.0%に達した。
Gemini-3.1-ProはプランSRが36.8%(人間は97.1%)、$π_{0.5}$は21.5%のタスクSRにしか達せず、ドメイン外のシナリオでは10.6%に低下する。
データセットとコードはhttps://baiqi-li.github.io/watchact_page/.comで入手できる。
関連論文リスト
- A Brain-inspired Hierarchical Framework for Zero-Shot Robot Task Reasoning and Execution [9.745144598922584]
メソッドは、人間の脳における役割の分割にインスパイアされたゼロショット階層的なフレームワークである。
コマンドを明示的なオブジェクト状態に基底付け、再利用可能なアトミックアクションをタスク条件付きシーケンスに構成し、実行コストで代替シーケンスをランク付けする。
メソッドは、ReKep、Dream2Flow、および$_0.5$ベンチマークよりも高い成功率を達成する。
論文 参考訳（メタデータ） (2026-09-05T08:59:04Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳（メタデータ） (2026-09-04T17:16:48Z) - Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。
我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。
RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
論文 参考訳（メタデータ） (2026-08-26T17:59:34Z) - The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction [23.90153863744227]
人間のビデオから学ぶための4段階のベンチマークであるThe Imitator Gameを紹介した。
人間の実演とロボット自身のシーンのギャップを徐々に広げ、軌道上のリプレイが止まる場所を分離する。
私たちはIG-10Kと、これまでで最大の環境整合型人間ロボットデータセット、そして盲目のA/B人間評価のためのオープンプラットフォームであるImitator Arenaと組み合わせました。
論文 参考訳（メタデータ） (2026-08-23T08:51:01Z) - SABER: A Scalable Action-Based Embodied Dataset for Real-World VLA Adaptation [0.0]
SABERは、100時間以上の店内での自然な捕獲から構築された、高忠実な小売ロボティクスアクションデータセットである。
3つのアクション表現ストリームにわたる44.8Kのトレーニングサンプルを含んでいる。
10の小売業での平均成功率は29.3%である。
論文 参考訳（メタデータ） (2026-05-10T15:51:01Z) - Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation [14.833622989644352]
我々は、自然言語コマンドを信頼性の高い操作に変換する軽量で完全なオンデバイスパイプラインを開発した。
Instruct2Actは91.5%のサブアクション予測精度を達成し、フットプリントは小さい。
その結果, DATRNに基づく軌道生成と視覚誘導グラウンド化と相まって, 決定論的, リアルタイムな操作を行うための実践的な経路が得られた。
論文 参考訳（メタデータ） (2026-02-10T16:25:39Z) - RoboPaint: From Human Demonstration to Any Robot and Any View [9.083647729839688]
本研究では,人間による実演をロボットが実行可能な環境特化学習データに変換するためのリアルタイムデータ収集とデータ編集パイプラインを提案する。
そこで本研究では,10種類のオブジェクト操作タスクに対して,デキスハンドトラジェクトリの再ターゲットが84%の成功率を達成することを示す。
複雑なデクサラス操作のために,パフォーマンス損失を最小限に抑えた,スケーラブルで費用対効果の高い遠隔操作の代替手段を提供する。
論文 参考訳（メタデータ） (2026-02-05T05:45:12Z) - Local Policies Enable Zero-shot Long-horizon Manipulation [80.1161776000682]
ManipGenを紹介します。これはsim2real転送のための新しいポリシーのクラスであるローカルポリシーを活用します。
ManipGenは、SayCan、OpenVLA、LLMTrajGen、VoxPoserといったSOTAアプローチを、50の現実世界操作タスクで36%、76%、62%、60%で上回っている。
論文 参考訳（メタデータ） (2024-10-29T17:59:55Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳（メタデータ） (2023-03-02T18:51:38Z) - Reasoning with Scene Graphs for Robot Planning under Partial
Observability [7.121002367542985]
我々は,ロボットが視覚的文脈情報で推論できるロボット計画のためのシーン解析アルゴリズムを開発した。
シミュレーションで複数の3D環境と実際のロボットが収集したデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2022-02-21T18:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。