論文の概要: SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation
- arxiv url: http://arxiv.org/abs/2609.36031v1
- Date: Mon, 28 Sep 2026 18:03:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.923836
- Title: SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation
- Title（参考訳）: SAKI:長軸移動マニピュレーションのための人間ビデオからのスキルアセンブリとキネマティックな模倣
- Abstract要約: Skill Assembly and Kinematic Imitation (SAKI) は、人間とビデオのスキル獲得、クロスデモアセンブリ、クローズドループ全体の実行を結びつけるフレームワークである。
SAKIは、タスククリティカルなインタラクションを維持しながら、転送パスの適応を可能にする、再利用可能なオブジェクト中心のスキルを準備します。
- 参考スコア（独自算出の注目度）: 5.827418963046836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning from human videos offers a promising route to acquiring diverse manipulation skills. Extending this capability beyond tabletop settings to long-horizon mobile manipulation requires adapting and composing demonstrated interactions across changing scenes and robot configurations. We present Skill Assembly and Kinematic Imitation (SAKI), a framework connecting human-video skill acquisition, cross-demonstration assembly and closed-loop whole-body execution. SAKI prepares reusable object-centric skills that preserve task-critical interactions while allowing transfer paths to adapt. Given a goal and supplied task dependencies, it selects and orders skills, binds their object roles to the current scene, and carries scene estimates and robot configuration between successive skills. Whole-body kinematic imitation generates coordinated base, arm and gripper motion. During execution, persistent object estimates maintain task references across viewpoint changes, while visual feedback updates remaining trajectories. Real-robot experiments demonstrate skill reuse across layouts and the composition of independently demonstrated interactions into continuous mobile tasks, including tidying and wiping. Ablation results show that task-conditioned reference preparation substantially improves long-horizon task completion with whole-body optimisation and visual feedback held fixed. Check https://aus.bot/research/saki/ for video demos!
- Abstract（参考訳）: 人間のビデオから学ぶことは、多様な操作スキルを得るための有望な道筋を提供する。
テーブルトップ設定から長距離移動操作まで、この機能を拡張するには、シーンやロボットの設定を変更することで、実演されたインタラクションを適応および構成する必要がある。
Skill Assembly and Kinematic Imitation (SAKI) は、人間とビデオのスキル獲得、クロスデモアセンブリ、クローズドループ全体の実行を結びつけるフレームワークである。
SAKIは、タスククリティカルなインタラクションを維持しながら、転送パスの適応を可能にする、再利用可能なオブジェクト中心のスキルを準備します。
目標と与えられたタスク依存が与えられたら、スキルを選択して注文し、オブジェクトロールを現在のシーンにバインドし、連続するスキル間でシーン推定とロボット構成を行う。
全体キネマティック模倣は、座標ベース、アーム、グリップ運動を生成する。
実行中は、永続的なオブジェクト推定は視点の変化をまたいだタスク参照を維持し、視覚的なフィードバックは軌道を更新する。
実ロボット実験は、レイアウト全体にわたるスキルの再利用と、タイピングやワイピングを含む連続的なモバイルタスクへの独立して実証されたインタラクションの構成を実証する。
アブレーションの結果,タスク条件付き参照準備は,全身最適化と視覚フィードバックを固定した長軸タスク完了を著しく改善することがわかった。
ビデオデモはhttps://aus.bot/research/saki/でご覧ください。
関連論文リスト
- V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos [7.475708314963595]
V2-STRepは、VLMで構築されたタスク表現を通じて、生成された動画の動きを再利用可能なロボットスキルに変換するフレームワークである。
VLMを用いた2次元画像空間キューをRGB-D観測により3次元にリフトし,課題形状と候補把握ポーズを再構成する。
6つの実世界の操作タスクの実験では、ベースラインを越えた実行の成功、得られたスキルの信頼性の高いクロスシーン転送、変更したデプロイメント命令への適応が示されている。
論文 参考訳（メタデータ） (2026-09-17T15:37:34Z) - Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。
我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。
RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
論文 参考訳（メタデータ） (2026-08-26T17:59:34Z) - Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning [17.90707618632327]
我々は、人間のビデオから再利用可能なオブジェクト中心のインタラクションを学習するためのフレームワークであるHuman2Anyを紹介する。
我々は,FrankaテーブルトップとRBY-1ヒューマノイド移動ロボットの実際の実験を含む,さまざまな操作設定のHuman2Anyを検証する。
論文 参考訳（メタデータ） (2026-06-27T08:45:27Z) - GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training [20.414478780328437]
既存の方法は、しばしば時間を要するタスク固有のポリシートレーニングを必要とするか、厳格な軌跡の再生に依存している。
我々は,人型ロボットがゼロショット方式で多様なオブジェクトインタラクションタスクを実行できるフレームワークであるtextitGenHOIを提案する。
提案手法を多種多様なオブジェクト・インタラクション・タスクにまたがる広範囲なシミュレーションおよび実世界の実験で検証する。
論文 参考訳（メタデータ） (2026-06-11T07:31:05Z) - VAIC: Vision-Guided Humanoid Agile Object Interaction Control via Decoupled Commands [56.029505206531155]
Vision Guided Agile Interaction Control (VAIC)は、現在のコントローラとヒューマノイドロボットのギャップを埋める統合フレームワークである。
まず、特権教師政策は、正確な物体運動学と正確な環境状態を用いて多様な相互作用スキルを習得する。
第二に、デプロイ可能な学生ポリシーは、全体追跡を複数の軸にまたがる速度目標に置き換えることで、これらの能力を蒸留する。
論文 参考訳（メタデータ） (2026-06-08T09:52:55Z) - Continual Quadruped Robots Coordination via Semantic Skill Discovery [17.82598716904032]
マルチクワッドループ調整は、ペイロード容量の増強、コンタクト範囲の拡大、課題への適応性の向上などにより、注目を集めている。
既存のマルチクワッドループ操作の方法は、通常、事前に定義されたタスクファミリやクローズドタスクファミリにフォーカスする。
本稿では,検索・適応・更新プロセスとして連続的な多重四分法協調を定式化するセマンティック・スキル・ライブラリー・フレームワークであるConquerを提案する。
論文 参考訳（メタデータ） (2026-06-06T11:07:13Z) - HumanoidVerse: A Versatile Humanoid for Vision-Language Guided Multi-Object Rearrangement [51.16740261131198]
視覚言語誘導型ヒューマノイド制御のための新しいフレームワークであるHumanoidVerseを紹介する。
HumanoidVerseは、自然言語命令と自我中心のカメラRGB観測のみでガイドされる複数のオブジェクトの連続的な操作をサポートする。
我々の研究は、現実の知覚的制約の下で複雑なシーケンシャルなタスクを実行できる、堅牢で汎用的なヒューマノイドエージェントに向けた重要なステップである。
論文 参考訳（メタデータ） (2025-08-23T08:23:14Z) - Moto: Latent Motion Token as the Bridging Language for Learning Robot Manipulation from Videos [101.26467307473638]
我々はMotoを紹介する。Motoは、映像コンテンツをラテントモーションTokenizerでラテントモーションTokenシーケンスに変換する。
我々は、モーショントークンによるMoto-GPTの事前学習を行い、多様な視覚的動きの知識を捉えることができる。
実際のロボット動作に先立って学習した動きを転送するために、潜伏した動きのトークン予測と実際のロボット制御をシームレスにブリッジするコファインチューニング戦略を実装した。
論文 参考訳（メタデータ） (2024-12-05T18:57:04Z) - Whole-Body Teleoperation for Mobile Manipulation at Zero Added Cost [8.71539730969424]
MoMa-Teleopは、既存のインターフェースからエンドエフェクタ動作を推測する新しい遠隔操作手法である。
提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
論文 参考訳（メタデータ） (2024-09-23T15:09:45Z) - Modeling Long-horizon Tasks as Sequential Interaction Landscapes [75.5824586200507]
本稿では,一連のデモビデオからのみ,サブタスク間の依存関係と遷移を学習するディープラーニングネットワークを提案する。
これらのシンボルは、画像観察から直接学習し、予測できることが示される。
我々は,(1)人間によって実行されるパズル片のブロック積み重ね,(2)物体のピック・アンド・プレイスとキャビネットドアを7-DoFロボットアームで滑らせるロボット操作という,2つの長期水平作業において,我々の枠組みを評価する。
論文 参考訳（メタデータ） (2020-06-08T18:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。