論文の概要: Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots

• arxiv url: http://arxiv.org/abs/2102.04750v1
• Date: Tue, 9 Feb 2021 10:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 15:20:29.893712
• Title: Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots
• Title（参考訳）: 俺の手はどこだ? ヒューマノイドロボットにおける視覚自己認識のための深部ハンドセグメンテーション
• Authors: Alexandre Almeida, Pedro Vicente, Alexandre Bernardino
• Abstract要約: 本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
• 参考スコア（独自算出の注目度）: 129.46920552019247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to distinguish between the self and the background is of paramount importance for robotic tasks. The particular case of hands, as the end effectors of a robotic system that more often enter into contact with other elements of the environment, must be perceived and tracked with precision to execute the intended tasks with dexterity and without colliding with obstacles. They are fundamental for several applications, from Human-Robot Interaction tasks to object manipulation. Modern humanoid robots are characterized by high number of degrees of freedom which makes their forward kinematics models very sensitive to uncertainty. Thus, resorting to vision sensing can be the only solution to endow these robots with a good perception of the self, being able to localize their body parts with precision. In this paper, we propose the use of a Convolution Neural Network (CNN) to segment the robot hand from an image in an egocentric view. It is known that CNNs require a huge amount of data to be trained. To overcome the challenge of labeling real-world images, we propose the use of simulated datasets exploiting domain randomization techniques. We fine-tuned the Mask-RCNN network for the specific task of segmenting the hand of the humanoid robot Vizzy. We focus our attention on developing a methodology that requires low amounts of data to achieve reasonable performance while giving detailed insight on how to properly generate variability in the training dataset. Moreover, we analyze the fine-tuning process within the complex model of Mask-RCNN, understanding which weights should be transferred to the new task of segmenting robot hands. Our final model was trained solely on synthetic images and achieves an average IoU of 82% on synthetic validation data and 56.3% on real test data. These results were achieved with only 1000 training images and 3 hours of training time using a single GPU.
• Abstract（参考訳）: 自己と背景を区別する能力は、ロボットタスクにとって最も重要なものです。 多くの場合、環境の他の要素と接触するロボットシステムのエンドエフェクターとして、手の特定のケースは、器用性と障害物と衝突することなく意図されたタスクを実行するために正確に知覚され、追跡されなければなりません。 ヒューマンロボットインタラクションタスクからオブジェクト操作まで、いくつかのアプリケーションの基本です。 現代のヒューマノイドロボットは、高い自由度を特徴としており、前方運動学モデルは不確実性に非常に敏感です。 したがって、視覚センシングに頼ることが、これらのロボットに自己の良識を与える唯一の解決策となり、精度で身体の一部を局所化することができる。 本稿では,畳み込みニューラルネットワーク(CNN)を用いて,ロボットハンドを画像から自我中心の視点で分割する手法を提案する。 CNNは大量のデータをトレーニングする必要があることが知られている。 実世界画像のラベル付けという課題を克服するために,ドメインランダム化技術を活用したシミュレーションデータセットの利用を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。 我々は、トレーニングデータセットで変数を適切に生成する方法を詳細に見ながら、適切なパフォーマンスを達成するために少量のデータを必要とする方法論の開発に注力する。 さらに,Mask-RCNNの複雑なモデルにおける微調整過程を解析し,ロボットハンドの分割作業にどの重みを移すべきかを理解する。 最終モデルは合成画像のみを訓練し, 合成検証データでは平均82%, 実検データでは56.3%のIoUを達成した。 これらの結果は、単一のGPUを使用してわずか1000のトレーニングイメージと3時間のトレーニング時間で達成されました。

関連論文リスト

• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets [24.77850617214567]
  本稿では,視覚的特徴と操作タスクの行動や受容といった動的情報の両方を抽出する基礎表現学習フレームワークを提案する。 具体的には、DROIDロボットデータセット上で視覚エンコーダを事前訓練し、ロボットの受容状態や動作などの動作関連データを活用する。 本研究では,視覚的観察をロボットの主観的状態-動作ダイナミクスと整合させる新しいコントラスト的損失と,事前トレーニング中の行動を予測する行動クローニング(BC)のようなアクター損失と,時間的コントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:58:13Z)
• HRP: Human Affordances for Robotic Pre-Training [15.92416819748365]
  本稿では,手,物,接触の事前学習のためのフレームワークを提案する。 実世界の5つのタスクにおいて、この空き時間事前学習がパフォーマンスを最低15%向上させることを実験的に実証した(3000以上のロボット試験を用いて)。
  論文  参考訳（メタデータ） (2024-07-26T17:59:52Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
  ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。 この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。 本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:47:51Z)
• Automatically Prepare Training Data for YOLO Using Robotic In-Hand Observation and Synthesis [14.034128227585143]
  本稿では,ロボットが収集した限られたデータセットを拡大するために,ロボット内観察とデータ合成を組み合わせることを提案する。 収集された合成画像を組み合わせて、ディープ検出ニューラルネットワークをトレーニングする。 その結果, 観察画像と合成画像の組み合わせが手動データ作成に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-01-04T04:20:08Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation? [54.442692221567796]
  タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
  論文  参考訳（メタデータ） (2022-04-23T19:39:49Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)
• Task-relevant Representation Learning for Networked Robotic Perception [74.0215744125845]
  本稿では,事前学習されたロボット知覚モデルの最終的な目的と協調して設計された感覚データのタスク関連表現を学習するアルゴリズムを提案する。 本アルゴリズムは,ロボットの知覚データを競合する手法の最大11倍まで積極的に圧縮する。
  論文  参考訳（メタデータ） (2020-11-06T07:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。