論文の概要: Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared
Control on the Hannes Prosthesis
- arxiv url: http://arxiv.org/abs/2203.09812v1
- Date: Fri, 18 Mar 2022 09:16:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-21 15:25:34.038184
- Title: Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared
Control on the Hannes Prosthesis
- Title（参考訳）: 合成トレーニングによるGrasp前形状選択:ハンセン補綴物の眼内共有制御
- Authors: Federico Vasile, Elisa Maiettini, Giulia Pasquale, Astrid Florio,
Nicol\`o Boccardo, Lorenzo Natale
- Abstract要約: RGB 配列から手形前分類を行うための目印学習方式を提案する。
我々は、人間の腕の軌跡のモデルを用いて、眼球設定の特異性に取り組む。
- 参考スコア（独自算出の注目度）: 6.517935794312337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the task of object grasping with a prosthetic hand capable of
multiple grasp types. In this setting, communicating the intended grasp type
often requires a high user cognitive load which can be reduced adopting shared
autonomy frameworks. Among these, so-called eye-in-hand systems automatically
control the hand aperture and pre-shaping before the grasp, based on visual
input coming from a camera on the wrist. In this work, we present an
eye-in-hand learning-based approach for hand pre-shape classification from RGB
sequences. In order to reduce the need for tedious data collection sessions for
training the system, we devise a pipeline for rendering synthetic visual
sequences of hand trajectories for the purpose. We tackle the peculiarity of
the eye-in-hand setting by means of a model for the human arm trajectories,
with domain randomization over relevant visual elements. We develop a
sensorized setup to acquire real human grasping sequences for benchmarking and
show that, compared on practical use cases, models trained with our synthetic
dataset achieve better generalization performance than models trained on real
data. We finally integrate our model on the Hannes prosthetic hand and show its
practical effectiveness. Our code, real and synthetic datasets will be released
upon acceptance.
- Abstract（参考訳）: 複数のグリップタイプが可能な義手を用いて物体をつかむ作業について検討する。
この設定では、意図した把握タイプをコミュニケーションするには、高いユーザ認知負荷を必要とすることが多く、共有自律フレームワークの採用を減らすことができる。
いわゆるアイ・イン・ハンド・システムは、手首のカメラからの視覚的入力に基づいて、握る前に手の動きを自動で制御する。
そこで本研究では,RGB配列から手先分類を行うための手先学習方式を提案する。
そこで本研究では,手動軌跡の合成視覚系列を描画するパイプラインを考案し,システムトレーニングのための退屈なデータ収集セッションの必要性を低減した。
我々は,人間の腕の軌跡に対するモデルを用いて,関連する視覚要素に対する領域ランダム化を行い,視線設定の特異性に取り組む。
ベンチマークのための実際の人間の把握シーケンスを取得するためのセンサ化されたセットアップを開発し、実際のユースケースと比較して、我々の合成データセットで訓練されたモデルは、実際のデータで訓練されたモデルよりも優れた一般化性能が得られることを示す。
最終的にこのモデルをハンネス義手に統合し,実効性を示す。
私たちのコード、実データ、合成データセットは受け入れ次第リリースされます。
関連論文リスト
- What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - Fast and Expressive Gesture Recognition using a Combination-Homomorphic
Electromyogram Encoder [21.25126610043744]
筋電図を用いたジェスチャー認識の課題について検討する。
方向成分と変調器成分を組み合わせたジェスチャーを定義する。
新しい被験者は単一のコンポーネントジェスチャしか示さない。
実際の単一のジェスチャーの特徴ベクトルを組み合わせて合成学習データを生成することで、見知らぬ組み合わせのジェスチャーに外挿する。
論文 参考訳（メタデータ） (2023-10-30T20:03:34Z) - Self-supervised Optimization of Hand Pose Estimation using Anatomical
Features and Iterative Learning [4.698846136465861]
本稿では,人的相互作用が最小限である特定のユースケースに手振り推定を適用するための自己教師付きパイプラインを提案する。
このパイプラインは、汎用データセットでトレーニングされた手振り推定のための一般的な機械学習モデルで構成されている。
パイプラインの有効性は、手動のアセンブリシナリオにおいて、下流タスクとしてアクティビティ認識をトレーニングすることで実証される。
論文 参考訳（メタデータ） (2023-07-06T14:13:11Z) - Procedural Humans for Computer Vision [1.9550079119934403]
顔と身体のパラメトリックなモデルを構築し,このモデルに基づいて人間の現実的な画像を生成する。
本研究は,Wood et al. のパイプライン上に構築し,人体全体の合成画像を生成することにより,全体を含むように拡張可能であることを示す。
論文 参考訳（メタデータ） (2023-01-03T15:44:48Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳（メタデータ） (2022-10-06T15:25:00Z) - Tracking and Reconstructing Hand Object Interactions from Point Cloud
Sequences in the Wild [35.55753131098285]
本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。
このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。
オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
論文 参考訳（メタデータ） (2022-09-24T13:40:09Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。
ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。
提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-02T07:50:50Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - From Hand-Perspective Visual Information to Grasp Type Probabilities:
Deep Learning via Ranking Labels [6.772076545800592]
Plackett-Luceモデルに基づいた新しい確率分類器を構築し、把握上の確率分布を予測する。
提案モデルは,最もポピュラーで生産性の高い畳み込みニューラルネットワークフレームワークに適用可能であることを示す。
論文 参考訳（メタデータ） (2021-03-08T16:12:38Z) - Learning to Segment Human Body Parts with Synthetically Trained Deep
Convolutional Networks [58.0240970093372]
本稿では,合成データのみを用いて学習した深部畳み込みニューラルネットワークに基づく人体部分分割のための新しい枠組みを提案する。
提案手法は,人体部品の実際の注釈付きデータを用いてモデルを訓練することなく,最先端の結果が得られる。
論文 参考訳（メタデータ） (2021-02-02T12:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。