論文の概要: RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning

• arxiv url: http://arxiv.org/abs/2610.09455v1
• Date: Wed, 07 Oct 2026 05:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.728683
• Title: RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning
• Title（参考訳）: RLHND:ロボット学習のための物理グラウンドハンドトラッカーとしてのビデオファンデーションモデル
• Abstract要約: 本稿では,ビデオファウンデーションモデルに基づく手追跡モデルを提案する。 モノクラー・エゴセントリックなビデオから手ポーズとリアルな触覚情報を推定する。 ポーズ推定のために、さまざまなベンチマークデータセットで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 63.13832695270861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, approaches that leverage human video datasets for robot policy training have become increasingly prevalent. However, most existing hand trackers regress pose from cropped frames with limited priors on hand motion and object interaction, resulting in inaccurate and physically inconsistent estimates. Moreover, the lack of physical cues, e.g., contact and force, limits the use of human videos for robot policy training. To this end, we propose RLHND, a video foundation model-based hand tracking model that jointly estimates hand pose and realistic tactile information from monocular egocentric videos. RLHND turns the pre-trained Cosmos 3 video diffusion backbone into a deterministic clip-level feature extractor via clean-latent conditioning, carrying its learned priors on hand motion and hand-object interaction into tracking. For pose estimation, RLHND (i) predicts hand poses with anatomically plausible joint angles and (ii) enables optional conditioning on the shape parameter to maintain consistent hand shape within the same video and even across videos recorded by the same actor. For tactile estimation, a separate tactile expert stream, trained with the pose stream frozen, predicts dense contact and force over the hand surface. We further adopt LBS-based feature spreading to enable vertex-wise feature extraction without costly per-vertex attention. RLHND achieves state-of-the-art performance across various benchmark datasets for pose estimation, while also achieving state-of-the-art performance in contact and force estimation. Moreover, we demonstrate the utility of RLHND for robot learning through retargeting results and real-world robot experiments. The code will be publicly available at https://seungjun-moon.github.io/rlhnd/.
• Abstract（参考訳）: 近年,ロボットのポリシートレーニングに人間のビデオデータセットを活用するアプローチが普及している。 しかし、既存のほとんどのハンドトラッカーは、手の動きや物体の相互作用に先立って、収穫されたフレームからポーズを取り、不正確で物理的に矛盾した見積もりをもたらす。 さらに、物理的な手がかり、例えば接触力、力の欠如により、ロボットポリシートレーニングにおける人間のビデオの使用が制限される。 この目的のために,単眼のエゴシックビデオから手ポーズとリアルな触覚情報を共同で推定する,ビデオファンデーションモデルに基づく手追跡モデルRLHNDを提案する。 RLHNDは、トレーニング済みのCosmos 3ビデオ拡散バックボーンを、クリーンな遅延条件付けによって決定論的クリップレベルの特徴抽出器に変え、学習した先行情報を手の動きと手動の相互作用をトラッキングする。 ポーズ推定のためのRLHND (i)解剖学的に妥当な関節角度で手ポーズを予測し、 (ii) 同一ビデオ内の一貫した手形状を, 同一アクターが記録するビデオ間でも, 形状パラメータの任意の条件付けが可能となる。 触覚推定のために、ポーズストリームを凍結して訓練された別の触覚専門家ストリームは、手の表面に密接な接触と力を予測する。 さらに,LBSベースの機能展開を採用して,頂点毎の注意を犠牲にすることなく,頂点的特徴抽出を可能にする。 RLHNDは、ポーズ推定のための様々なベンチマークデータセットにまたがって最先端のパフォーマンスを達成すると同時に、接触と力の推定における最先端のパフォーマンスを達成する。 さらに,ロボット学習におけるRLHNDの有用性を実世界のロボット実験と再ターゲティングによって実証する。 コードはhttps://seungjun-moon.github.io/rlhnd/で公開される。

関連論文リスト

• RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
  H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。 本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。 ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
  論文  参考訳（メタデータ） (2026-08-13T09:55:59Z)
• WARPED: Wrist-Aligned Rendering for Robot Policy Learning from Egocentric Human Demonstrations [10.024841990710177]
  WARPEDは人間のデモビデオからリアルな手首ビューの観察を合成するためのフレームワークである。 ハンドオブジェクトインタラクションパイプラインを使用して、手と操作対象を追跡し、軌道をロボットのエンドエフェクタに再ターゲットする。 我々は、WARPEDが5つのテーブルトップ操作タスクのための遠隔操作デモデータに基づいて訓練されたポリシーに匹敵する成功率を達成することを実証した。
  論文  参考訳（メタデータ） (2026-04-12T20:40:59Z)
• PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos [90.4816165292854]
  既存の学習ベースの手法は、高品質な3Dデータと手動アノテーションによる教師付きトレーニングに大きく依存している。 そこで本研究では,手動物体間相互作用からオブジェクトの調音を直接抽出する手法であるPAWSを提案する。 提案手法は,HD-EPICやArti4Dを含む公開データセット上で評価し,ベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2026-03-26T15:16:51Z)
• Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction [24.49384094440561]
  我々は,RGBのヒューマンビデオから直接デクスタラスな操作を学習する,デバイスフリーのフレームワークであるVIDEOMANIPを提案する。 シミュレーションでは、学習した把握モデルはインスパイアハンドを用いて20種類のオブジェクトに対して70.25%の成功率を達成する。 実世界では、RGBビデオから訓練された操作ポリシーは、LEAPハンドを使用して7つのタスクで平均62.86%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-09T18:56:02Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。