論文の概要: Dynamic Hand Gesture-Featured Human Motor Adaptation in Tool Delivery
using Voice Recognition
- arxiv url: http://arxiv.org/abs/2309.11368v1
- Date: Wed, 20 Sep 2023 14:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 15:52:32.676883
- Title: Dynamic Hand Gesture-Featured Human Motor Adaptation in Tool Delivery
using Voice Recognition
- Title(参考訳): 音声認識を用いたツールデリバリーにおける動的ハンドジェスチャ機能付ヒト運動適応
- Authors: Haolin Fei, Stefano Tedeschi, Yanpei Huang, Andrew Kennedy and Ziwei
Wang
- Abstract要約: 本稿では,革新的なロボット協調フレームワークを提案する。
手の動きや動的動きの認識、音声認識、切り替え可能な制御適応戦略をシームレスに統合する。
ハンドジェスチャ認識における優れた性能を示す実験結果が得られた。
- 参考スコア(独自算出の注目度): 5.13619372598999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-robot collaboration has benefited users with higher efficiency towards
interactive tasks. Nevertheless, most collaborative schemes rely on complicated
human-machine interfaces, which might lack the requisite intuitiveness compared
with natural limb control. We also expect to understand human intent with low
training data requirements. In response to these challenges, this paper
introduces an innovative human-robot collaborative framework that seamlessly
integrates hand gesture and dynamic movement recognition, voice recognition,
and a switchable control adaptation strategy. These modules provide a
user-friendly approach that enables the robot to deliver the tools as per user
need, especially when the user is working with both hands. Therefore, users can
focus on their task execution without additional training in the use of
human-machine interfaces, while the robot interprets their intuitive gestures.
The proposed multimodal interaction framework is executed in the UR5e robot
platform equipped with a RealSense D435i camera, and the effectiveness is
assessed through a soldering circuit board task. The experiment results have
demonstrated superior performance in hand gesture recognition, where the static
hand gesture recognition module achieves an accuracy of 94.3\%, while the
dynamic motion recognition module reaches 97.6\% accuracy. Compared with human
solo manipulation, the proposed approach facilitates higher efficiency tool
delivery, without significantly distracting from human intents.
- Abstract(参考訳): 人間とロボットのコラボレーションは、対話的なタスクに対して高い効率のユーザに利益をもたらしました。
しかし、ほとんどの協調的なスキームは複雑な人間と機械のインターフェイスに依存しており、自然な手足の制御に比べて、必要な直感性を欠いている。
また、低いトレーニングデータ要求で人間の意図を理解することも期待しています。
これらの課題に対応するために,手動作と動的動作認識,音声認識,切り替え可能な制御適応戦略をシームレスに統合する,革新的なロボット協調フレームワークを提案する。
これらのモジュールはユーザフレンドリーなアプローチを提供し、特に両手で作業している場合に、ロボットが必要なツールを提供することを可能にする。
そのため、ロボットは直感的なジェスチャーを解釈するのに対し、人間と機械のインターフェイスの使用を訓練することなくタスク実行に集中することができる。
提案するマルチモーダルインタラクションフレームワークは、RealSense D435iカメラを備えたUR5eロボットプラットフォームで実行され、ハンダリング回路基板タスクを通じて有効性を評価する。
その結果,静的手動作認識モジュールの精度は94.3\%,動的動作認識モジュールの精度は97.6\%であった。
ヒトの単独操作と比較して、提案手法は、人間の意図を著しく妨げることなく、より高い効率のツールデリバリを促進する。
関連論文リスト
- "No, to the Right" -- Online Language Corrections for Robotic
Manipulation via Shared Autonomy [70.45420918526926]
LILACは、実行中に自然言語の修正をオンラインで実施し、適応するためのフレームワークである。
LILACは人間とロボットを個別にターンテイクする代わりに、人間とロボットの間にエージェンシーを分割する。
提案手法は,タスク完了率が高く,ユーザによって主観的に好まれることを示す。
論文 参考訳(メタデータ) (2023-01-06T15:03:27Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳(メタデータ) (2022-12-19T22:50:40Z) - Gesture2Path: Imitation Learning for Gesture-aware Navigation [54.570943577423094]
Gesture2Pathは、画像に基づく模倣学習とモデル予測制御を組み合わせた新しいソーシャルナビゲーション手法である。
実際のロボットに本手法をデプロイし,4つのジェスチャーナビゲーションシナリオに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2022-09-19T23:05:36Z) - Body Gesture Recognition to Control a Social Robot [5.557794184787908]
本研究では,人間の身体を自然に利用してロボットと対話できるジェスチャー型言語を提案する。
ニューラルネットワークを用いた新しいジェスチャー検出モデルと、ネットワークをトレーニングするための身体ジェスチャーセットを実行する人間のカスタムデータセットを作成しました。
論文 参考訳(メタデータ) (2022-06-15T13:49:22Z) - Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot
Learning [121.9708998627352]
近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。
本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
論文 参考訳(メタデータ) (2022-04-15T08:12:15Z) - Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。
本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。
ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
論文 参考訳(メタデータ) (2022-03-31T23:08:20Z) - In-air Knotting of Rope using Dual-Arm Robot based on Deep Learning [8.365690203298966]
深層学習に基づく双腕二本指ロボットを用いて,ロープの空中結節を成功させた。
全ての対象状態に対応する適切なロボット動作のマニュアル記述を事前に作成することは困難である。
そこで我々は,ロボットに2つの深層ニューラルネットワークを訓練し,そのセンサモデレータから収集したデータに基づいてボクノットとオーバーハンドノットを行うよう指示するモデルを構築した。
論文 参考訳(メタデータ) (2021-03-17T02:11:58Z) - Show Me What You Can Do: Capability Calibration on Reachable Workspace
for Human-Robot Collaboration [83.4081612443128]
本稿では,REMPを用いた短時間キャリブレーションにより,ロボットが到達できると考える非専門家と地道とのギャップを効果的に埋めることができることを示す。
この校正手順は,ユーザ認識の向上だけでなく,人間とロボットのコラボレーションの効率化にも寄与することを示す。
論文 参考訳(メタデータ) (2021-03-06T09:14:30Z) - Non-invasive Cognitive-level Human Interfacing for the Robotic
Restoration of Reaching & Grasping [5.985098076571228]
本稿では,人間の腕と指を動作させるロボットシステムを提案する。
ウェアラブルアイトラッキング、環境の視覚的コンテキスト、人間の行動の構造文法を組み合わせて、認知レベルの支援ロボットセットアップを作成します。
論文 参考訳(メタデータ) (2021-02-25T16:32:04Z) - Learn and Transfer Knowledge of Preferred Assistance Strategies in
Semi-autonomous Telemanipulation [16.28164706104047]
我々は、新しい嗜好認識型知識学習アプローチを開発する。
補助選好モデルは、人間が好む援助を学習する。
また,異なるロボットハンド構造間で好みの知識を伝達する知識伝達手法を開発した。
論文 参考訳(メタデータ) (2020-03-07T04:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。