論文の概要: iCub! Do you recognize what I am doing?: multimodal human action recognition on multisensory-enabled iCub robot

• arxiv url: http://arxiv.org/abs/2212.08859v1
• Date: Sat, 17 Dec 2022 12:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 15:55:24.622598
• Title: iCub! Do you recognize what I am doing?: multimodal human action recognition on multisensory-enabled iCub robot
• Title（参考訳）: イクブ! 俺が何をしてるか分かるか? 多感覚型iCubロボットにおけるマルチモーダル人間行動認識
• Authors: Kas Kniesmeijer and Murat Kirtay
• Abstract要約: 提案したマルチモーダルアンサンブル学習は、3つのカラーカメラと1つの深度センサの相補的特性を活用する。 提案したモデルは,マルチモーダル動作認識を必要とするiCubロボットに展開可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study uses multisensory data (i.e., color and depth) to recognize human actions in the context of multimodal human-robot interaction. Here we employed the iCub robot to observe the predefined actions of the human partners by using four different tools on 20 objects. We show that the proposed multimodal ensemble learning leverages complementary characteristics of three color cameras and one depth sensor that improves, in most cases, recognition accuracy compared to the models trained with a single modality. The results indicate that the proposed models can be deployed on the iCub robot that requires multimodal action recognition, including social tasks such as partner-specific adaptation, and contextual behavior understanding, to mention a few.
• Abstract（参考訳）: 本研究は,マルチモーダルな人間とロボットの相互作用の文脈における人間の行動を認識するために,多感覚データ(色と深さ)を用いる。 ここでは,20個の物体に4つの異なるツールを用いて,人間パートナーの事前定義された行動を観察するためにicubロボットを用いた。 提案するマルチモーダルアンサンブル学習は、3つのカラーカメラと1つの深度センサの相補的特性を活用し,1つのモダリティで訓練されたモデルと比較して認識精度を向上させる。 提案したモデルは、パートナー固有の適応や文脈的行動理解といった社会的タスクを含むマルチモーダルな行動認識を必要とするiCubロボットに展開可能であることを示唆している。

関連論文リスト

• A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation [39.87346821309096]
  本稿では,従来のSOTAと比較して性能が向上したアドレス推定モデルを提案する。 また、上記のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T13:09:32Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Application-Driven AI Paradigm for Human Action Recognition [2.0342996661888995]
  本稿では,2つのモジュール,すなわち多形人間の検出とそれに対応する行動分類からなる統合された人間の行動認識フレームワークを提案する。 いくつかの実験結果から、統合フレームワークは様々なアプリケーションシナリオに有効であることが示された。
  論文  参考訳（メタデータ） (2022-09-30T07:22:01Z)
• Continuous ErrP detections during multimodal human-robot interaction [2.5199066832791535]
  我々は,シミュレーションロボットが音声やジェスチャーを通じて人間とコミュニケーションする,マルチモーダルなヒューマンロボットインタラクション(HRI)シナリオを実装した。 人間のパートナーは、ロボットが選択した動作(ポインティングジェスチャー)とロボットの口頭発表(意図)が一致しているかを評価する。 脳波で明らかな、人間によるロボット行動の本質的な評価は、リアルタイムで記録され、オンラインで連続的にセグメンテーションされ、非同期に分類された。
  論文  参考訳（メタデータ） (2022-07-25T15:39:32Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• A robot that counts like a child: a developmental model of counting and pointing [69.26619423111092]
  実物を数えることができる新しい神経ロボティクスモデルを導入する。 このモデルにより,エンボディメントと数値認識の相互作用を調べることができる。 トレーニングされたモデルは、アイテムのセットをカウントすることができ、同時にそれらを指し示します。
  論文  参考訳（メタデータ） (2020-08-05T21:06:27Z)
• Gesture Recognition for Initiating Human-to-Robot Handovers [2.1614262520734595]
  人間がハンドオーバを開始する意図を認識させることが重要であり、ハンドオーバが意図されていなければ、ロボットは人間からオブジェクトを奪おうとしない。 ハンドオーバジェスチャー認識は単一のRGB画像のバイナリ分類問題として機能する。 以上の結果から,ハンドオーバ動作は90%以上の精度で正しく識別できることがわかった。
  論文  参考訳（メタデータ） (2020-07-20T08:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。