論文の概要: From Detection to Action Recognition: An Edge-Based Pipeline for Robot Human Perception

• arxiv url: http://arxiv.org/abs/2312.03477v1
• Date: Wed, 6 Dec 2023 13:10:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 14:58:19.644005
• Title: From Detection to Action Recognition: An Edge-Based Pipeline for Robot Human Perception
• Title（参考訳）: 検出から行動認識へ:ロボット人間の知覚のためのエッジベースパイプライン
• Authors: Petros Toupas, Georgios Tsamis, Dimitrios Giakoumis, Konstantinos Votis, Dimitrios Tzovaras
• Abstract要約: サービスロボットは人間の行動や意図を解釈するためにヒューマンアクション認識(HAR)に依存している。 本稿では,人間の検出と追跡から始まり,行動認識に至るプロセス全体を包含するエンドツーエンドパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 5.262840821732319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mobile service robots are proving to be increasingly effective in a range of applications, such as healthcare, monitoring Activities of Daily Living (ADL), and facilitating Ambient Assisted Living (AAL). These robots heavily rely on Human Action Recognition (HAR) to interpret human actions and intentions. However, for HAR to function effectively on service robots, it requires prior knowledge of human presence (human detection) and identification of individuals to monitor (human tracking). In this work, we propose an end-to-end pipeline that encompasses the entire process, starting from human detection and tracking, leading to action recognition. The pipeline is designed to operate in near real-time while ensuring all stages of processing are performed on the edge, reducing the need for centralised computation. To identify the most suitable models for our mobile robot, we conducted a series of experiments comparing state-of-the-art solutions based on both their detection performance and efficiency. To evaluate the effectiveness of our proposed pipeline, we proposed a dataset comprising daily household activities. By presenting our findings and analysing the results, we demonstrate the efficacy of our approach in enabling mobile robots to understand and respond to human behaviour in real-world scenarios relying mainly on the data from their RGB cameras.
• Abstract（参考訳）: モバイルサービスロボットは、医療、日常生活の監視(ADL)、環境支援生活(AAL)の促進など、さまざまなアプリケーションにおいて、ますます効果的であることが証明されている。 これらのロボットは人間の行動や意図を理解するためにヒューマンアクション認識(HAR)に大きく依存している。 しかし、harがサービスロボット上で効果的に機能するためには、人間の存在(人間検出)と個人識別(人間追跡)の事前知識が必要である。 本研究では,人間の検出と追跡から始まり,行動認識に至るプロセス全体を包含するエンドツーエンドパイプラインを提案する。 パイプラインは、エッジ上で処理のすべてのステージを確実に実行しながら、ほぼリアルタイムで動作するように設計されており、集中型計算の必要性が軽減されている。 移動ロボットに最適なモデルを特定するため,検出性能と効率の両面から,最先端のソリューションを比較した一連の実験を行った。 提案するパイプラインの有効性を評価するため,日常生活活動を含むデータセットを提案する。 本研究の結果を提示し,その結果を解析することにより,rgbカメラのデータに主に依存する現実のシナリオにおいて,移動ロボットが人間の行動を理解し,対応できるようにするための手法の有効性を実証する。

関連論文リスト

• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets [24.77850617214567]
  本稿では,視覚的特徴と操作タスクの行動や受容といった動的情報の両方を抽出する基礎表現学習フレームワークを提案する。 具体的には、DROIDロボットデータセット上で視覚エンコーダを事前訓練し、ロボットの受容状態や動作などの動作関連データを活用する。 本研究では,視覚的観察をロボットの主観的状態-動作ダイナミクスと整合させる新しいコントラスト的損失と,事前トレーニング中の行動を予測する行動クローニング(BC)のようなアクター損失と,時間的コントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:58:13Z)
• Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
  本稿では,人間とロボットの協調学習システムについて紹介する。 これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。 これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
  論文  参考訳（メタデータ） (2024-06-29T03:37:29Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot [54.80144694888735]
  効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。 本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。 総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-02-20T05:38:54Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)
• Show Me What You Can Do: Capability Calibration on Reachable Workspace for Human-Robot Collaboration [83.4081612443128]
  本稿では,REMPを用いた短時間キャリブレーションにより,ロボットが到達できると考える非専門家と地道とのギャップを効果的に埋めることができることを示す。 この校正手順は,ユーザ認識の向上だけでなく,人間とロボットのコラボレーションの効率化にも寄与することを示す。
  論文  参考訳（メタデータ） (2021-03-06T09:14:30Z)
• Simultaneous Learning from Human Pose and Object Cues for Real-Time Activity Recognition [11.290467061493189]
  本研究では,人間の行動にかかわるポーズや物体の観察から同時に学習することで,人間の行動認識に対する新しいアプローチを提案する。 提案手法は従来の手法より優れ,104Hzの処理速度で人間の行動認識のリアルタイム性能を得る。
  論文  参考訳（メタデータ） (2020-03-26T22:04:37Z)
• Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
  本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。 対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。 本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T19:58:03Z)
• Human-robot co-manipulation of extended objects: Data-driven models and control from analysis of human-human dyads [2.7036498789349244]
  我々は人間と人間のダイアド実験のデータを用いて、物理的な人間とロボットのコマニピュレーションタスクに使用する動きの意図を決定する。 我々は、過去の動きに基づく人間の意図を予測するために、人間と人間のトライアルの動作データに基づくディープニューラルネットワークを開発した。
  論文  参考訳（メタデータ） (2020-01-03T21:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。