論文の概要: H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation

• arxiv url: http://arxiv.org/abs/2310.01404v2
• Date: Fri, 13 Oct 2023 03:14:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 16:54:35.806094
• Title: H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation
• Title（参考訳）: H-InDex: Dexterous Manipulationのための手書き表現を用いた視覚強化学習
• Authors: Yanjie Ze, Yuyao Liu, Ruizhe Shi, Jiaxin Qin, Zhecheng Yuan, Jiashun Wang, Huazhe Xu
• Abstract要約: 本フレームワークは, (i) 人手ポーズ推定による事前学習表現, (ii) 自己教師付きキーポイント検出によるオフライン適応表現, (iii) 指数移動平均BatchNormによる強化学習の3段階からなる。 H-InDexは強力なベースライン法や近年の運動制御の視覚基盤モデルを大きく超えている。
• 参考スコア（独自算出の注目度）: 24.00965190311669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human hands possess remarkable dexterity and have long served as a source of inspiration for robotic manipulation. In this work, we propose a human $\textbf{H}$and$\textbf{-In}$formed visual representation learning framework to solve difficult $\textbf{Dex}$terous manipulation tasks ($\textbf{H-InDex}$) with reinforcement learning. Our framework consists of three stages: (i) pre-training representations with 3D human hand pose estimation, (ii) offline adapting representations with self-supervised keypoint detection, and (iii) reinforcement learning with exponential moving average BatchNorm. The last two stages only modify $0.36\%$ parameters of the pre-trained representation in total, ensuring the knowledge from pre-training is maintained to the full extent. We empirically study 12 challenging dexterous manipulation tasks and find that H-InDex largely surpasses strong baseline methods and the recent visual foundation models for motor control. Code is available at https://yanjieze.com/H-InDex .
• Abstract（参考訳）: 人間の手は目覚ましいデクスター性を持ち、ロボット操作のインスピレーションの源となっている。 本研究では,強化学習を伴う難解な$\textbf{dex}$terous操作タスク($\textbf{h-index}$)を解決するために,人間の$\textbf{h}$and$\textbf{-in}$formed visual representation learningフレームワークを提案する。 私たちの枠組みは3つの段階からなる。 (i)3次元人手ポーズ推定による事前学習表現 (ii)自己教師付きキーポイント検出によるオフライン適応表現、及び (iii)指数移動平均バッチノルムによる強化学習 最後の2つの段階は、事前訓練された表現の$0.36\%$パラメータを総じて変更するだけで、事前訓練からの知識が十分に維持される。 我々は12の難解な操作タスクを経験的に研究し、h-indexが強力なベースラインメソッドと最近の運動制御のためのvisual foundationモデルを大きく超えることを見出した。 コードはhttps://yanjieze.com/H-InDexで入手できる。

関連論文リスト

• Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
  模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
  論文  参考訳（メタデータ） (2024-07-22T06:12:21Z)
• FinePOSE: Fine-Grained Prompt-Driven 3D Human Pose Estimation via Diffusion Models [40.966197115577344]
  3Dヒューマンポース推定タスクは、3D空間における人間の関節座標を予測するために2D画像またはビデオを使用する。 我々は3次元HPEの拡散モデルに基づくファイングレードプロンプト駆動型デノイザ(textbfFinePOSE)を提案する。 拡散モデルの逆過程を強化する3つのコアブロックから構成される。 公開シングルヒューマンポーズデータセットの実験では、FinePOSEが最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2024-05-08T17:09:03Z)
• PGDS: Pose-Guidance Deep Supervision for Mitigating Clothes-Changing in Person Re-Identification [10.140070649542949]
  個人再識別(Re-ID)タスクは、監視カメラによる複数の個人追跡を強化することを目的としている。 Re-IDで直面する最も重要な課題の1つは着替えであり、同じ人が異なる衣装に現れる可能性がある。 Re-IDタスク内でポーズガイダンスを学習するための効果的なフレームワークである Pose-Guidance Deep Supervision (PGDS) を提案する。
  論文  参考訳（メタデータ） (2023-12-09T18:43:05Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• Effective Whole-body Pose Estimation with Two-stages Distillation [52.92064408970796]
  全体ポーズ推定は、画像内の人体、手、顔、足のキーポイントをローカライズする。 textbfWhole-body textbfPose 推定器の2段階ポーズ textbfDistillation を提案し,その有効性と効率性について検討した。
  論文  参考訳（メタデータ） (2023-07-29T03:49:28Z)
• Unsupervised Learning of Efficient Geometry-Aware Neural Articulated Representations [89.1388369229542]
  本稿では,3次元幾何認識による音声オブジェクトの表現学習のための教師なし手法を提案する。 私たちは、GANトレーニングで表現を学ぶことで、このニーズを回避します。 実験は,本手法の有効性を実証し,GANに基づくトレーニングにより,制御可能な3次元表現を,監督なしで学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-19T12:10:18Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。