論文の概要: Dynamic Hand Gesture-Featured Human Motor Adaptation in Tool Delivery using Voice Recognition

• arxiv url: http://arxiv.org/abs/2309.11368v1
• Date: Wed, 20 Sep 2023 14:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 15:52:32.676883
• Title: Dynamic Hand Gesture-Featured Human Motor Adaptation in Tool Delivery using Voice Recognition
• Title（参考訳）: 音声認識を用いたツールデリバリーにおける動的ハンドジェスチャ機能付ヒト運動適応
• Authors: Haolin Fei, Stefano Tedeschi, Yanpei Huang, Andrew Kennedy and Ziwei Wang
• Abstract要約: 本稿では,革新的なロボット協調フレームワークを提案する。 手の動きや動的動きの認識、音声認識、切り替え可能な制御適応戦略をシームレスに統合する。 ハンドジェスチャ認識における優れた性能を示す実験結果が得られた。
• 参考スコア（独自算出の注目度）: 5.13619372598999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-robot collaboration has benefited users with higher efficiency towards interactive tasks. Nevertheless, most collaborative schemes rely on complicated human-machine interfaces, which might lack the requisite intuitiveness compared with natural limb control. We also expect to understand human intent with low training data requirements. In response to these challenges, this paper introduces an innovative human-robot collaborative framework that seamlessly integrates hand gesture and dynamic movement recognition, voice recognition, and a switchable control adaptation strategy. These modules provide a user-friendly approach that enables the robot to deliver the tools as per user need, especially when the user is working with both hands. Therefore, users can focus on their task execution without additional training in the use of human-machine interfaces, while the robot interprets their intuitive gestures. The proposed multimodal interaction framework is executed in the UR5e robot platform equipped with a RealSense D435i camera, and the effectiveness is assessed through a soldering circuit board task. The experiment results have demonstrated superior performance in hand gesture recognition, where the static hand gesture recognition module achieves an accuracy of 94.3\%, while the dynamic motion recognition module reaches 97.6\% accuracy. Compared with human solo manipulation, the proposed approach facilitates higher efficiency tool delivery, without significantly distracting from human intents.
• Abstract（参考訳）: 人間とロボットのコラボレーションは、対話的なタスクに対して高い効率のユーザに利益をもたらしました。 しかし、ほとんどの協調的なスキームは複雑な人間と機械のインターフェイスに依存しており、自然な手足の制御に比べて、必要な直感性を欠いている。 また、低いトレーニングデータ要求で人間の意図を理解することも期待しています。 これらの課題に対応するために,手動作と動的動作認識,音声認識,切り替え可能な制御適応戦略をシームレスに統合する,革新的なロボット協調フレームワークを提案する。 これらのモジュールはユーザフレンドリーなアプローチを提供し、特に両手で作業している場合に、ロボットが必要なツールを提供することを可能にする。 そのため、ロボットは直感的なジェスチャーを解釈するのに対し、人間と機械のインターフェイスの使用を訓練することなくタスク実行に集中することができる。 提案するマルチモーダルインタラクションフレームワークは、RealSense D435iカメラを備えたUR5eロボットプラットフォームで実行され、ハンダリング回路基板タスクを通じて有効性を評価する。 その結果,静的手動作認識モジュールの精度は94.3\%,動的動作認識モジュールの精度は97.6\%であった。 ヒトの単独操作と比較して、提案手法は、人間の意図を著しく妨げることなく、より高い効率のツールデリバリを促進する。

関連論文リスト

• Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
  本稿では,人間とロボットの協調学習システムについて紹介する。 これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。 これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
  論文  参考訳（メタデータ） (2024-06-29T03:37:29Z)
• Real-Time Dynamic Robot-Assisted Hand-Object Interaction via Motion Primitives [45.256762954338704]
  本稿では,動的ロボット支援ハンドオブジェクトインタラクションに着目した物理HRIの強化手法を提案する。 我々はトランスフォーマーに基づくアルゴリズムを用いて、1枚のRGB画像から人間の手の動きをリアルタイムに3Dモデリングする。 ロボットのアクション実装は、継続的に更新された3Dハンドモデルを使用して動的に微調整される。
  論文  参考訳（メタデータ） (2024-05-29T21:20:16Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Body Gesture Recognition to Control a Social Robot [5.557794184787908]
  本研究では,人間の身体を自然に利用してロボットと対話できるジェスチャー型言語を提案する。 ニューラルネットワークを用いた新しいジェスチャー検出モデルと、ネットワークをトレーニングするための身体ジェスチャーセットを実行する人間のカスタムデータセットを作成しました。
  論文  参考訳（メタデータ） (2022-06-15T13:49:22Z)
• Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot Learning [121.9708998627352]
  近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。 本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
  論文  参考訳（メタデータ） (2022-04-15T08:12:15Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• Show Me What You Can Do: Capability Calibration on Reachable Workspace for Human-Robot Collaboration [83.4081612443128]
  本稿では,REMPを用いた短時間キャリブレーションにより,ロボットが到達できると考える非専門家と地道とのギャップを効果的に埋めることができることを示す。 この校正手順は,ユーザ認識の向上だけでなく,人間とロボットのコラボレーションの効率化にも寄与することを示す。
  論文  参考訳（メタデータ） (2021-03-06T09:14:30Z)
• Non-invasive Cognitive-level Human Interfacing for the Robotic Restoration of Reaching & Grasping [5.985098076571228]
  本稿では,人間の腕と指を動作させるロボットシステムを提案する。 ウェアラブルアイトラッキング、環境の視覚的コンテキスト、人間の行動の構造文法を組み合わせて、認知レベルの支援ロボットセットアップを作成します。
  論文  参考訳（メタデータ） (2021-02-25T16:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。