論文の概要: HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent Inference in Prosthetic Hands

• arxiv url: http://arxiv.org/abs/2103.04845v1
• Date: Mon, 8 Mar 2021 15:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 15:22:38.506020
• Title: HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent Inference in Prosthetic Hands
• Title（参考訳）: HANDS: 人工手における人間の手指インテント推論をモデル化するマルチモーダルデータセット
• Authors: Mo Han, Sezen Ya{\u{g}}mur G\"unay, Gunar Schirner, Ta\c{s}k{\i}n Pad{\i}r, Deniz Erdo{\u{g}}mu\c{s}
• Abstract要約: 未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。 マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。 環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
• 参考スコア（独自算出の注目度）: 3.7886097009023376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Upper limb and hand functionality is critical to many activities of daily living and the amputation of one can lead to significant functionality loss for individuals. From this perspective, advanced prosthetic hands of the future are anticipated to benefit from improved shared control between a robotic hand and its human user, but more importantly from the improved capability to infer human intent from multimodal sensor data to provide the robotic hand perception abilities regarding the operational context. Such multimodal sensor data may include various environment sensors including vision, as well as human physiology and behavior sensors including electromyography and inertial measurement units. A fusion methodology for environmental state and human intent estimation can combine these sources of evidence in order to help prosthetic hand motion planning and control. In this paper, we present a dataset of this type that was gathered with the anticipation of cameras being built into prosthetic hands, and computer vision methods will need to assess this hand-view visual evidence in order to estimate human intent. Specifically, paired images from human eye-view and hand-view of various objects placed at different orientations have been captured at the initial state of grasping trials, followed by paired video, EMG and IMU from the arm of the human during a grasp, lift, put-down, and retract style trial structure. For each trial, based on eye-view images of the scene showing the hand and object on a table, multiple humans were asked to sort in decreasing order of preference, five grasp types appropriate for the object in its given configuration relative to the hand. The potential utility of paired eye-view and hand-view images was illustrated by training a convolutional neural network to process hand-view images in order to predict eye-view labels assigned by humans.
• Abstract（参考訳）: 上肢と手の機能は日常生活の多くの活動に不可欠であり、切断は個人にとって重要な機能喪失につながる可能性がある。 この観点からは、未来の高度な義手は、ロボットハンドと人間のユーザとの共有制御の改善の恩恵を受けるが、より重要なのは、マルチモーダルセンサデータから人間の意図を推測し、操作コンテキストに関するロボットハンドの認識能力を提供する能力の向上である。 このようなマルチモーダルセンサデータには、視覚を含む様々な環境センサや、筋電図や慣性測定装置を含む人間の生理学および行動センサが含まれる。 環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。 本論文では、義手の中にカメラを組み込むことを前提に収集されたこのタイプのデータセットを提示し、人間の意図を推定するために、コンピュータビジョンの方法は、この手視点の視覚的証拠を評価する必要がある。 具体的には、人間の視線からのペアリング画像と、さまざまな方向に配置されたさまざまなオブジェクトのハンドビューが、つかみ合い試験の初期状態でキャプチャされ、次に、把握、持ち上げ、押し下げ、および引き込みスタイルの試験構造中に人間の腕からペアビデオ、EMGおよびIMUが続きます。 各試験では、テーブル上の手と物体を示すシーンの目視画像に基づいて、複数の人間は、その手に対して与えられた構成のオブジェクトに適した5つの把握タイプ、好みの減少順にソートするように求められました。 対眼視画像と手視画像の潜在的な有用性は、畳み込みニューラルネットワークを訓練して手視画像を処理することによって、人間が割り当てた目視ラベルを予測することで示される。

関連論文リスト

• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Human keypoint detection for close proximity human-robot interaction [29.99153271571971]
  近接ロボット相互作用の文脈における最先端人間のキーポイント検出器の性能について検討した。 MMPoseとAlphaPoseは近接して全体キーポイント検出器を動作させたが、どちらも指検出に難しかった。 本稿では,MMPose または AlphaPose の身体用と MediaPipe を,最も正確かつ堅牢な検出が可能な単一のフレームワークで組み合わせて提案する。
  論文  参考訳（メタデータ） (2022-07-15T20:33:29Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• Towards Predicting Fine Finger Motions from Ultrasound Images via Kinematic Representation [12.49914980193329]
  米国の画像から特定指のアクティベーションを識別する推論問題について検討した。 本研究は,ロボット補綴器のアームアンプへの採用率向上に向けた重要なステップであると考えている。
  論文  参考訳（メタデータ） (2022-02-10T18:05:09Z)
• Physion: Evaluating Physical Prediction from Vision in Humans and Machines [46.19008633309041]
  我々は、この能力を正確に測定する視覚的および身体的予測ベンチマークを示す。 我々は、様々な物理予測を行う能力について、アルゴリズムの配列を比較した。 物理的な状態にアクセス可能なグラフニューラルネットワークは、人間の振る舞いを最もよく捉えている。
  論文  参考訳（メタデータ） (2021-06-15T16:13:39Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels [6.772076545800592]
  Plackett-Luceモデルに基づいた新しい確率分類器を構築し、把握上の確率分布を予測する。 提案モデルは,最もポピュラーで生産性の高い畳み込みニューラルネットワークフレームワークに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-03-08T16:12:38Z)
• Careful with That! Observation of Human Movements to Estimate Objects Properties [106.925705883949]
  我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。 最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
  論文  参考訳（メタデータ） (2021-03-02T08:14:56Z)
• Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
  本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。 対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。 本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T19:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。