論文の概要: GTA-2: A Multi-VLM Framework for Synthesizing Robot Manipulation Skills via Grounded Task Axes
- arxiv url: http://arxiv.org/abs/2609.09808v1
- Date: Wed, 09 Sep 2026 07:04:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.928231
- Title: GTA-2: A Multi-VLM Framework for Synthesizing Robot Manipulation Skills via Grounded Task Axes
- Title（参考訳）: GTA-2: 接地作業軸によるロボットマニピュレーションスキルの合成のための多VLMフレームワーク
- Abstract要約: GTA-2(Gunded Task Axes v2)は、実行可能でタスクを起動する操作スキルを構築するモジュール型マルチVLMフレームワークである。
GTA-2は、各スキルをタスク関連キーポイントと軸、コントローラ構成、シーン依存パラメータからなるセマンティックサブタスクとして表現する。
この抽象化・ツー・グラウンド化により、タスク固有のロボットデモ、ポリシートレーニング、微調整なしでゼロショットスキル生成が可能になる。
- 参考スコア（独自算出の注目度）: 14.740922941761491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic manipulation tasks are often decomposed into behaviors or skills. However, one often needs to predefine these behaviors for specific tasks or try to cover a wide range of tasks using generic skills. As a result, these behaviors can remain too coarse to expose the geometric, control, and scene-dependent decisions required for execution. We introduce Grounded Task Axes v2 (GTA-2), a modular multi-VLM framework that constructs executable, task-bespoke manipulation skills from reusable object-centric task-axis components. Rather than predicting actions end-to-end or composing fixed task-level primitives, GTA-2 represents each skill as semantic subtasks comprising task-relevant keypoints and axes, controller compositions, and scene-dependent parameters. Four specialized VLM agents separately decompose the task, construct an abstract task-axis skill, assign controller parameters, and ground the required visual features from RGB-D observations. This abstraction-to-grounding factorization enables zero-shot skill generation without task-specific robot demonstrations, policy training, or fine-tuning. It also keeps intermediate decisions explicit, allowing targeted human feedback to refine an incorrect stage while preserving correct components. We evaluate GTA-2 on 14 real-robot manipulation tasks against a VLA policy pi_{0.5} and two Code-as-Policies baselines using task-axis controllers or conventional robot primitives. GTA-2 achieves an average zero-shot success rate of 73.9%, exceeding the strongest baseline by 31.4 percentage points, while targeted refinement raises GTA-2's average success rate to 90.7%. Project page: https://gta2-project.github.io/
- Abstract（参考訳）: ロボット操作タスクは、しばしば振る舞いやスキルに分解される。
しかし、特定のタスクのためにこれらの振る舞いを事前に定義したり、一般的なスキルを使って幅広いタスクをカバーしようとする場合が多い。
結果として、これらの振る舞いは、実行に必要な幾何学的、制御的、シーンに依存した決定を公開するには、あまりにも粗いままである。
我々は、再利用可能なオブジェクト中心のタスク軸コンポーネントから実行可能なタスク-起動操作スキルを構築するモジュール型マルチVLMフレームワークであるGunded Task Axes v2(GTA-2)を紹介する。
GTA-2は、タスクレベルプリミティブのエンドツーエンドや構成を予測するのではなく、各スキルをタスク関連キーポイントと軸、コントローラ構成、シーン依存パラメータからなるセマンティックサブタスクとして表現する。
4つの専門的なVLMエージェントがタスクを別々に分解し、抽象的なタスク軸スキルを構築し、コントローラパラメータを割り当て、必要な視覚的特徴をRGB-D観測から基礎付ける。
この抽象化・ツー・グラウンド化により、タスク固有のロボットデモ、ポリシートレーニング、微調整なしでゼロショットスキル生成が可能になる。
また、中間的な決定を明確に保ち、ターゲットとなる人間のフィードバックが正しいコンポーネントを保持しながら、間違ったステージを洗練できるようにする。
VLAポリシー pi_{0.5} と2つのCode-as-Policiesベースラインに対して,タスク軸コントローラや従来のロボットプリミティブを用いて,14個の実ロボット操作タスク上でGTA-2を評価する。
GTA-2の平均ゼロショット成功率は73.9%で、最強のベースラインを31.4ポイント上回り、目標リファインメントはGTA-2の平均成功率を90.7%に引き上げている。
プロジェクトページ:https://gta2-project.github.io/
関連論文リスト
- ManiSkillFormer: Demonstration-Free Compositional Manipulation via Task-Conditioned Geometric Contracts [9.644269617314132]
ManiSkillFormerは、デモ不要で構成的なロボット操作のための、ニューロシンボリックなフレームワークである。
ManiSkillFormerは、エンドツーエンドのビズモータポリシを学ぶ代わりに、タスク条件付き幾何学的コントラクトを導入し、知覚とアクションのインターフェースを明示的に構成する。
論文 参考訳（メタデータ） (2026-09-14T20:45:53Z) - 2AM: Grounding Agent-Side Memory as Guidance for Steerable Action Models in Long-Horizon Manipulation [6.040186174770221]
ロングホライズンロボットの操作はメモリを必要とするが、必ずしもアクションポリシーの範囲内ではない。
2AMは、マルチモーダルエージェントをタスクメモリの唯一のホルダーとし、単一のRGBベースの、エピソード的にステートレスなアクションモデルをタスク関連モーションの唯一のエグゼキュータにする。
LIBERO-Memでは、深さ、オンライン幾何、またはプランナーに基づく物体の動きが76.3%に達し、最強のベースラインである14.8%を61.5ポイント改善し、63.0%の緩和と11.8%の厳密な成功を達成している。
論文 参考訳（メタデータ） (2026-09-10T09:35:56Z) - Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。
我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。
RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
論文 参考訳（メタデータ） (2026-08-26T17:59:34Z) - FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies [26.96931937675281]
FineVLAは、アクションアライメントされたきめ細かいVLA監視のためのオープンフレームワークである。
オープンソースの10のロボットデータセットから85Kタスクにまたがる992,247のトラジェクトリを統一する。
500本のビデオ、10,816件の原子性事実と1,030件のVQA質問のベンチマークがある。
論文 参考訳（メタデータ） (2026-05-26T17:01:10Z) - GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである
現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。
実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
論文 参考訳（メタデータ） (2026-04-17T05:36:00Z) - CORAL: Scalable Multi-Task Robot Learning via LoRA Experts [49.759823970016974]
実世界のロボット工学におけるビジョン・ランゲージ・アクション(VLA)モデルは、コアマルチタスク学習の課題を露呈する。
タスク毎に個別の完全なチェックポイントを維持することは、しばしばストレージとデプロイメントの禁止である。
主にマルチタスク干渉を軽減するために設計されたバックボーンおよび非依存のフレームワークであるCORALを提案する。
論文 参考訳（メタデータ） (2026-03-10T07:28:41Z) - Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation [14.833622989644352]
我々は、自然言語コマンドを信頼性の高い操作に変換する軽量で完全なオンデバイスパイプラインを開発した。
Instruct2Actは91.5%のサブアクション予測精度を達成し、フットプリントは小さい。
その結果, DATRNに基づく軌道生成と視覚誘導グラウンド化と相まって, 決定論的, リアルタイムな操作を行うための実践的な経路が得られた。
論文 参考訳（メタデータ） (2026-02-10T16:25:39Z) - Language-Conditioned Representations and Mixture-of-Experts Policy for Robust Multi-Task Robotic Manipulation [1.731102560795011]
LMoE-DP(Language-Conditioned Visual Representation)モジュールとLanguage- Conditioned Mixture-of-Experts Density Policy(LMoE-DP)を組み合わせたフレームワークを提案する。
実ロボットのベンチマークでは、LCVRはAction Chunking with Transformers (ACT) と Diffusion Policy (DP) の成功率をそれぞれ33.75%、25%向上させた。
セマンティックグラウンドと専門家の専門化を組み合わせることで、堅牢で効率的なマルチタスク操作が可能になることを示す。
論文 参考訳（メタデータ） (2025-10-28T04:27:03Z) - REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳（メタデータ） (2025-03-28T03:51:40Z) - GRAPE: Generalizing Robot Policy via Preference Alignment [58.419992317452376]
GRAPE: 優先度アライメントによるロボット政策の一般化について述べる。
GRAPEはドメイン内および未確認操作タスクにおける成功率をそれぞれ51.79%、58.20%向上させる。
GRAPEは安全性や効率、衝突速度の37.44%、ロールアウト長さの11.15%といった様々な目標に合わせることができる。
論文 参考訳（メタデータ） (2024-11-28T18:30:10Z) - RH20T-P: A Primitive-Level Robotic Dataset Towards Composable Generalization Agents [105.13169239919272]
プリミティブレベルのロボット操作データセットであるRH20T-Pを提案する。
実際のシナリオで67種類の操作タスクをカバーする約38Kのビデオクリップが含まれている。
我々は、計画実行CGAパラダイムを標準化し、RH20T-PにRA-Pと呼ばれる典型的なベースラインを実装します。
論文 参考訳（メタデータ） (2024-03-28T17:42:54Z) - M2T2: Multi-Task Masked Transformer for Object-centric Pick and Place [44.303123422422246]
M2T2は、散らかったシーンの任意のオブジェクトに対して堅牢に動作する異なるタイプの低レベルのアクションを提供する単一のモデルである。
M2T2は、128Kシーンの大規模な合成データセットで訓練され、実際のロボット上でゼロショットのsim2real転送を実現する。
論文 参考訳（メタデータ） (2023-11-02T01:42:52Z) - Guided Imitation of Task and Motion Planning [9.072286070266092]
我々は,タスクと行動計画の成果を模倣する政策を訓練する。
これにより、感覚データから多段階のタスクを達成できるフィードフォワードポリシが生成される。
7-DoF関節制御によるロボット操作タスクでは、部分的に訓練されたポリシーにより、計画に必要な時間を最大2.6倍に短縮する。
論文 参考訳（メタデータ） (2021-12-06T22:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。