論文の概要: KinoGen: Customizable Humanoid Loco-Manipulation References via Kinematically Grounded Video Generation
- arxiv url: http://arxiv.org/abs/2610.20552v1
- Date: Wed, 14 Oct 2026 17:43:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.285458
- Title: KinoGen: Customizable Humanoid Loco-Manipulation References via Kinematically Grounded Video Generation
- Title(参考訳): KinoGen: キネマティックグラウンド映像生成によるカスタマイズ可能なヒューマノイドロコマニピュレーションリファレンス
- Abstract要約: KinoGenは、カスタマイズ可能なロコ操作参照をキネマティックな基底生成を通じて合成するフレームワークである。
KinoGenは8つのロコ操作タスクの中で、ビデオベースのタスクよりも低い浸透率とフットスケートを実現し、90%以上の連絡先を保存している。
合成基準に基づいて訓練されたトラッキングポリシーは、デキスタラスハンドを持つユニトリーG1ヒューマノイド上に展開される。
- 参考スコア(独自算出の注目度): 14.83116630877158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present KinoGen, a framework that synthesizes customizable humanoid loco-manipulation references through kinematically grounded video generation. KinoGen conditions a pretrained video generator on calibrated renders of the target robot and object in a simulated task instance and recovers the reference by fitting the same models to the generated two-view video, so that the reference lies in the robot configuration space by construction without a human body proxy or retargeting. Body, hand, and object priors initialize the reconstruction, and direct optimization against cross-view evidence refines it. Since an edited keyframe is simply another rendered state, a user can prescribe a goal object pose, regenerate the video around the edited keyframe, and obtain a reference that satisfies the pose exactly. Across eight loco-manipulation tasks, KinoGen yields lower penetration and foot skating than video-based baselines and preserves over 90% of annotated contacts, and its customized references satisfy every prescribed target with substantially less penetration than direct interpolation. Tracking policies trained on the synthesized references are deployed on a Unitree G1 humanoid with dexterous hands. Project webpage: https://kinogen-humanoid.github.io/.
- Abstract(参考訳): キノジェネレーション(キノジェネレーション)は,キネマティック・グラウンドド・ビデオ・ジェネレーションにより,カスタマイズ可能なヒューマノイド・ロコ操作参照を合成するフレームワークである。
KinoGenは、模擬タスクインスタンスにおいて、対象ロボットとオブジェクトの校正レンダリングに予めトレーニングされたビデオジェネレータを条件付け、同じモデルを生成された2ビュービデオに適合させて参照を回復することにより、人体プロキシや再ターゲティングなしで、構築によりロボット構成空間に参照を配置する。
ボディ、ハンド、オブジェクトの優先順位は、再構築を初期化し、クロスビューエビデンスに対する直接的な最適化は、それを洗練します。
編集されたキーフレームは単に別のレンダリングされた状態であるため、ユーザはゴールオブジェクトのポーズを処方し、編集されたキーフレームの周りでビデオを再生し、そのポーズを正確に満足する参照を得ることができる。
8つのロコ操作タスクの中で、KinoGenはビデオベースベースラインよりも低い浸透率とフットスケートを達成し、注釈付きコンタクトの90%以上を保持し、そのカスタマイズされた参照は、直接補間よりもかなり少ない浸透率で、所定の目標を満足する。
合成基準に基づいて訓練されたトラッキングポリシーは、デキスタラスハンドを持つユニトリーG1ヒューマノイド上に展開される。
プロジェクトWebページ: https://kinogen- Humanoid.github.io/.com
関連論文リスト
- RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning [63.13832695270861]
本稿では,ビデオファウンデーションモデルに基づく手追跡モデルを提案する。
モノクラー・エゴセントリックなビデオから手ポーズとリアルな触覚情報を推定する。
ポーズ推定のために、さまざまなベンチマークデータセットで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-10-07T05:11:50Z) - Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。
これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。
その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
論文 参考訳(メタデータ) (2026-10-05T11:08:50Z) - Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation [104.43858048650357]
PRISMは,ヒューマノイドのロボマニピュレーションスキルを教えるための,リアルからシミュレート・トゥ・リアルなフレームワークである。
PRISMは、ビデオ・ツー・ビデオ(V2V)生成を介して、何百もの多様な「偽物」人間とオブジェクトのインタラクションビデオを生成する。
我々は、このポリシーを現実世界の微調整なしで実際のロボットに展開することで、完全なパイプラインを実証する。
論文 参考訳(メタデータ) (2026-09-29T17:59:45Z) - Track, Articulate, Act: Generating Articulation from Casual Human Videos [17.214161289921567]
我々は,ドア,引き出し,キャビネット,ラップトップ,オーブン,ヒンジ容器などの明瞭な物体について検討した。
これらのオブジェクトは単一のポーズで表現することはできない。
そこで本研究では, カジュアルなモノクロRGBビデオから, シミュレーション可能な調音オブジェクトと手動オブジェクトのインタラクションを再構築する, リアルタイムなフレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-16T17:43:12Z) - GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training [20.414478780328437]
既存の方法は、しばしば時間を要するタスク固有のポリシートレーニングを必要とするか、厳格な軌跡の再生に依存している。
我々は,人型ロボットがゼロショット方式で多様なオブジェクトインタラクションタスクを実行できるフレームワークであるtextitGenHOIを提案する。
提案手法を多種多様なオブジェクト・インタラクション・タスクにまたがる広範囲なシミュレーションおよび実世界の実験で検証する。
論文 参考訳(メタデータ) (2026-06-11T07:31:05Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳(メタデータ) (2026-06-03T17:57:45Z) - From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。
この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか?
この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。
我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
論文 参考訳(メタデータ) (2025-12-04T18:56:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。