論文の概要: V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos

• arxiv url: http://arxiv.org/abs/2609.20582v1
• Date: Thu, 17 Sep 2026 15:37:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.355983
• Title: V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos
• Title（参考訳）: V2-STRep: 生成ビデオから取得した再利用可能なロボットスキルのためのVLM周囲の構造的タスク表現
• Abstract要約: V2-STRepは、VLMで構築されたタスク表現を通じて、生成された動画の動きを再利用可能なロボットスキルに変換するフレームワークである。 VLMを用いた2次元画像空間キューをRGB-D観測により3次元にリフトし,課題形状と候補把握ポーズを再構成する。 6つの実世界の操作タスクの実験では、ベースラインを越えた実行の成功、得られたスキルの信頼性の高いクロスシーン転送、変更したデプロイメント命令への適応が示されている。
• 参考スコア（独自算出の注目度）: 7.475708314963595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human manipulation videos provide rich motion and interaction cues for acquiring robot skills without robot demonstrations. Video generation models synthesize such demonstrations from an initial scene image and task instruction, avoiding the need to record demonstrations for each task. However, the recovered motion captures only one scene-specific realization, leaving task structure, geometric relations, and constraints implicit. We present V2-STRep, a zero-shot framework that converts generated video motion into reusable robot skills through VLM-grounded structured task representations. The representation specifies motion phases, references, and task-relevant constraints, with targets described by minimal geometric structures: points, point-normals, axes, planes, and full 6D poses. VLM-provided 2D image-space cues are lifted into 3D using RGB-D observations to reconstruct task geometry and candidate grasp poses. Geometry-specific rules transfer motion to new scenes, while task-constrained trajectory optimization couples grasp selection with complete robot motion planning. It preserves task requirements while using remaining rotational freedom to accommodate joint limits. Updating deployment grounding and constraints enables reuse under new compatible instructions without generating another video. Experiments on six real-world manipulation tasks demonstrate improved execution success over baselines, reliable cross-scene transfer of successfully acquired skills, and adaptation to changed deployment instructions.
• Abstract（参考訳）: 人間の操作ビデオは、ロボットのデモなしでロボットのスキルを取得するための、リッチなモーションとインタラクションの手がかりを提供する。 ビデオ生成モデルは、初期シーンイメージとタスク命令からこのようなデモを合成し、各タスクのデモを記録する必要はない。 しかし、復元された動きは1つのシーン固有の実現のみを捉え、タスク構造、幾何学的関係、制約を暗黙的に残す。 V2-STRepは、生成した動画の動きをVLMによる構造化タスク表現によって再利用可能なロボットスキルに変換するゼロショットフレームワークである。 この表現は運動相、参照、タスク関連制約を規定しており、ターゲットは最小の幾何学的構造(点、点正規化、軸、平面、フル6Dポーズ)によって記述されている。 VLMを用いた2次元画像空間キューをRGB-D観測により3次元にリフトし,課題形状と候補把握ポーズを再構成する。 形状特異的なルールが新たなシーンに動きを伝達する一方、タスク制約付き軌道最適化は完全なロボットの動き計画と選択を把握します。 継手制限を満たすために、残りの回転自由を使いながらタスク要求を保ちます。 デプロイメントの基盤と制約の更新は、別のビデオを生成することなく、新しい互換性のある命令の下での再利用を可能にする。 6つの実世界の操作タスクの実験では、ベースラインを越えた実行の成功、得られたスキルの信頼性の高いクロスシーン転送、変更したデプロイメント命令への適応が示されている。

関連論文リスト

• GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos [8.414561051327915]
  そこで,GeoLAMについて紹介する。GeoLAMは,アクションフリーな人間のビデオから幾何学的特徴を学習するためのフレームワークである。 GeoLAMは、凍結した幾何学的特徴階層による将来のフレーム再構築と、トレーニング専用の4D幾何学教師の運動監督を組み合わせる。
  論文  参考訳（メタデータ） (2026-09-15T12:31:34Z)
• WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
  WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。 WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:34Z)
• GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training [20.414478780328437]
  既存の方法は、しばしば時間を要するタスク固有のポリシートレーニングを必要とするか、厳格な軌跡の再生に依存している。 我々は,人型ロボットがゼロショット方式で多様なオブジェクトインタラクションタスクを実行できるフレームワークであるtextitGenHOIを提案する。 提案手法を多種多様なオブジェクト・インタラクション・タスクにまたがる広範囲なシミュレーションおよび実世界の実験で検証する。
  論文  参考訳（メタデータ） (2026-06-11T07:31:05Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• PointAction: 3D Points as Universal Action Representations for Robot Control [42.12570897523391]
  本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
  論文  参考訳（メタデータ） (2026-06-02T17:30:50Z)
• Multi-step manipulation task and motion planning guided by video demonstration [33.01481150518225]
  この研究は、ロボット工学における複雑な多段階のタスク・アンド・モーション計画タスクを解決するために、指導ビデオを活用することを目的としている。 本稿では,RRT(Rapidly-Exploring Random Tree)プランナの拡張について提案する。 我々は,Franka Emika PandaやKUKA KMR iiwaなどのロボットに対して,計画アルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2025-05-13T20:27:16Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Shape of Motion: 4D Reconstruction from a Single Video [42.42669078777769]
  本稿では,世界座標フレーム内の3次元運動軌跡を明示的かつ永続的に特徴付ける,ジェネリックダイナミックシーンの再構築手法を提案する。 まず,コンパクトなSE(3)モーションベースでシーンの動きを表現することで,3次元動作の低次元構造を利用する。 第2に,単眼深度マップや長距離2Dトラックなどの既成データ駆動の先行データを利用して,これらのノイズを効果的に処理する方法を考案する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• Generalizable task representation learning from human demonstration videos: a geometric approach [4.640835690336654]
  本研究では,ロボットやロボットの動きを訓練することなく,人間のデモビデオからタスク学習を一般化する問題について検討する。 本研究では,構造制約下でのタスク表現の学習にグラフ構造化タスク関数を用いたCoVGS-ILを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:57Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。