論文の概要: KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos
- arxiv url: http://arxiv.org/abs/2609.21229v1
- Date: Fri, 18 Sep 2026 02:19:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.831756
- Title: KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos
- Title（参考訳）: KnowDemo:人間のビデオから知識誘導型ロボットデモ生成
- Abstract要約: KnowDemoは、人間のビデオから構造化された操作知識を使用して、多様なロボットデモを生成するフレームワークである。
政策学習のために生成したデータを検証し,3つのタスクにまたがるシム・トゥ・リアル・トランスファーを実現する。
- 参考スコア（独自算出の注目度）: 4.5624618494435705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning robot manipulation policies typically requires substantial demonstration data, which are costly to collect on real robots. Recent methods generate robot demonstrations from human videos by adapting recovered motion and validating the resulting trajectories in simulation. However, methods centered on motion-reference adaptation can limit behavioral diversity by retaining the demonstrated contact strategies and subtask orders, while insufficient understanding of task requirements and scene relations can reduce demonstration generation efficiency by generating invalid candidates. To address these limitations, we propose KnowDemo, a framework that uses structured manipulation knowledge from human videos to generate diverse robot demonstrations for a target workspace. To distinguish task requirements from demonstration-specific choices, we develop a knowledge extraction and reasoning module based on a vision-language model (VLM) that associates object and action descriptions with inferred task conditions, demonstration references, and permissible execution variations. To translate this knowledge into executable demonstrations, we resolve the descriptions against target-scene entities and geometry to guide candidate generation and screening before motion planning and simulation. The resulting demonstrations exhibit multimodal behavior through alternative contact strategies and valid subtask orders, with structured execution labels. Experiments demonstrate additional verified execution modes beyond a reference-only configuration and improved candidate planning success through task-guided grasp sampling. To validate the generated data for policy learning, we fine-tune the pretrained $π_{0.5}$ model on simulation data, achieving sim-to-real transfer across three tasks. Project page: https://zhiyuan-gao.github.io/knowdemo/
- Abstract（参考訳）: ロボットの操作ポリシーを学習するには、実際のロボットで収集するのにコストがかかる大規模なデモデータが必要である。
近年の手法では、人間の映像から復元された動きに適応し、その結果の軌道をシミュレーションで検証することでロボットのデモを生成する。
しかし、動作参照適応を中心とした手法は、実証された接触戦略やサブタスク命令を維持することで行動の多様性を制限することができる一方で、タスク要求やシーン関係の理解が不十分な場合には、不正な候補を生成することで、実演生成効率を低下させることができる。
このような制約に対処するために,人間のビデオから構造化された操作知識を用いて,対象の作業空間に対する多様なロボットデモを生成するフレームワークであるKnowDemoを提案する。
課題要求と実演選択を区別するため,視覚言語モデル(VLM)に基づく知識抽出・推論モジュールを開発した。
この知識を実演に変換するために,動作計画とシミュレーションの前に候補生成とスクリーニングを導くために,ターゲットシーンの実体と幾何学に対する記述を整理する。
結果として得られたデモは、代替のコンタクト戦略と有効なサブタスクオーダを通じて、構造化された実行ラベルを持つマルチモーダルな振る舞いを示す。
実験では、参照のみの設定以上の検証された実行モードが示され、タスク誘導型グリップサンプリングによる候補計画の成功が向上した。
政策学習のための生成したデータを検証するため,事前に訓練した$π_{0.5}$モデルをシミュレーションデータ上で微調整し,3つのタスク間でシミュレート・トゥ・リアル転送を実現する。
プロジェクトページ:https://zhiyuan-gao.github.io/knowdemo/
関連論文リスト
- Behavior Prompting Policy: Demonstrations as Prompts for Manipulation [12.69446064622751]
我々は,ロボットが1人の人間の実演を前提として,推論時に新しいタスクを実行できるようにするパラダイムである行動プロンプトについて研究する。
我々はアルゴリズム、データ、評価に貢献する。
論文 参考訳（メタデータ） (2026-06-29T15:23:44Z) - SparTa: Sparse Graphical Task Models from a Handful of Demonstrations [18.00619071013106]
我々は、ロボットがタスクで達成すべきことを、どのように行うべきかではなく、推測することに集中する。
本稿では、一連の操作グラフを抽出し、オブジェクト状態上の分布を推定するデモセグメンテーションとプーリング手法を提案する。
シミュレーションと実ロボットの両方に適合したモデルをデプロイし、結果のタスク表現が環境全体にわたって信頼性の高い実行をサポートすることを示す。
論文 参考訳（メタデータ） (2026-02-18T21:54:35Z) - Cross-Modal Instructions for Robot Motion Generation [7.445072780282545]
本稿では,ロボットが粗いアノテーションの形でデモによって形づくられる,クロスモーダルな指示からの学習を紹介する。
そこで,CrossInstructフレームワークを紹介した。このフレームワークは,視覚言語モデルに対する文脈入力の例として,クロスモーダル命令を統合する。
次に、VLMは小さな細調整されたモデルを反復的にクエリし、複数の2Dビュー上で所望の動作を合成する。
大規模VLMの推論をきめ細かなポインティングモデルに組み込むことで、CrossInstructは限られた指導例の環境を超えて一般化する実行可能なロボット動作を生成する。
論文 参考訳（メタデータ） (2025-09-25T12:54:00Z) - Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳（メタデータ） (2023-12-28T23:34:43Z) - Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。
本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。
テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-10-12T17:59:23Z) - Learning Feasibility to Imitate Demonstrators with Different Dynamics [23.239058855103067]
実演から学ぶことのゴールは、実演の動作を模倣してエージェント(模倣者)のポリシーを学ぶことである。
我々は、実演が模倣者によって実現可能である可能性を捉えた実現可能性指標を学習する。
シミュレーションされた4つの環境と実際のロボットを用いた実験により,本手法で学んだ方針が,従来よりも期待されたリターンを達成できることが判明した。
論文 参考訳（メタデータ） (2021-10-28T14:15:47Z) - Learning to Shift Attention for Motion Generation [55.61994201686024]
ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。
以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。
この問題を克服する外挿能力を有するモーション生成モデルを提案する。
論文 参考訳（メタデータ） (2021-02-24T09:07:52Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。