論文の概要: MBE-ARI: A Multimodal Dataset Mapping Bi-directional Engagement in Animal-Robot Interaction
- arxiv url: http://arxiv.org/abs/2504.08646v1
- Date: Fri, 11 Apr 2025 15:45:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:18:01.130102
- Title: MBE-ARI: A Multimodal Dataset Mapping Bi-directional Engagement in Animal-Robot Interaction
- Title（参考訳）: MBE-ARI:動物とロボットの相互作用における双方向エンゲージメントのマルチモーダルデータセットマッピング
- Authors: Ian Noronha, Advait Prasad Jawaji, Juan Camilo Soto, Jiajun An, Yan Gu, Upinder Kaur,
- Abstract要約: MBE-ARI(Multimodal Bidirectional Engagement in Animal-Robot Interaction, MBE-ARI)は、足のついたロボットと牛の詳細な相互作用を捉える新しいデータセットである。
データセットには、複数の視点からRGB-Dストリームを同期し、ボディポーズとアノテートされたアノテートと、インタラクションフェーズ間のアクティビティラベルが含まれている。
また,四足歩行に適した全体ポーズ推定モデルを導入し,平均平均精度92.7%の39個のキーポイントを追跡できる。
- 参考スコア（独自算出の注目度）: 1.9953518809021749
- License:
- Abstract: Animal-robot interaction (ARI) remains an unexplored challenge in robotics, as robots struggle to interpret the complex, multimodal communication cues of animals, such as body language, movement, and vocalizations. Unlike human-robot interaction, which benefits from established datasets and frameworks, animal-robot interaction lacks the foundational resources needed to facilitate meaningful bidirectional communication. To bridge this gap, we present the MBE-ARI (Multimodal Bidirectional Engagement in Animal-Robot Interaction), a novel multimodal dataset that captures detailed interactions between a legged robot and cows. The dataset includes synchronized RGB-D streams from multiple viewpoints, annotated with body pose and activity labels across interaction phases, offering an unprecedented level of detail for ARI research. Additionally, we introduce a full-body pose estimation model tailored for quadruped animals, capable of tracking 39 keypoints with a mean average precision (mAP) of 92.7%, outperforming existing benchmarks in animal pose estimation. The MBE-ARI dataset and our pose estimation framework lay a robust foundation for advancing research in animal-robot interaction, providing essential tools for developing perception, reasoning, and interaction frameworks needed for effective collaboration between robots and animals. The dataset and resources are publicly available at https://github.com/RISELabPurdue/MBE-ARI/, inviting further exploration and development in this critical area.
- Abstract（参考訳）: 動物とロボットの相互作用(ARI)はロボット工学において未解決の課題であり、ロボットは身体言語、運動、発声などの動物の複雑なマルチモーダルコミュニケーションの方法を理解するのに苦労している。
確立されたデータセットやフレームワークの恩恵を受ける人間とロボットの相互作用とは異なり、動物とロボットの相互作用は、有意義な双方向通信を促進するために必要な基本的なリソースを欠いている。
このギャップを埋めるために、脚のあるロボットと牛の詳細な相互作用を捉える新しいマルチモーダルデータセットであるMBE-ARI(Multimodal Bidirectional Engagement in Animal-Robot Interaction)を提示する。
データセットには、複数の視点からRGB-Dストリームを同期させ、相互作用フェーズをまたいだボディポーズやアクティビティラベルに注釈を付け、ARI研究に前例のない詳細を提供する。
さらに, 四足動物に適した全体ポーズ推定モデルを導入し, 平均平均精度92.7%の39個のキーポイントを追跡でき, 既存の動物ポーズ推定ベンチマークよりも優れていた。
MBE-ARIデータセットとポーズ推定フレームワークは、動物とロボットの相互作用の研究を進めるための堅牢な基盤を築き、ロボットと動物の効果的な協調に必要な知覚、推論、相互作用フレームワークを開発するための重要なツールを提供する。
データセットとリソースはhttps://github.com/RISELabPurdue/MBE-ARI/で公開されている。
関連論文リスト
- CoPeD-Advancing Multi-Robot Collaborative Perception: A Comprehensive Dataset in Real-World Environments [8.177157078744571]
本稿では,先駆的で包括的な実世界のマルチロボット協調認識データセットを提案する。
生のセンサー入力、ポーズ推定、オプションのハイレベル認識アノテーションが特徴である。
この研究は、マルチロボット設定におけるマルチモーダル協調認識を通して、ハイレベルなシーン理解の潜在的研究を解き放つだろうと考えている。
論文 参考訳（メタデータ） (2024-05-23T15:59:48Z) - JRDB-PanoTrack: An Open-world Panoptic Segmentation and Tracking Robotic Dataset in Crowded Human Environments [33.85323884177833]
JRDB-PanoTrackは,ロボットシステムにおける環境理解のためのオープンワールド・パノプティクス・セグメンテーションとトラッキング・ベンチマークである。
JRDB-PanoTrackは,1)屋内および屋外の混雑シーンを含む各種データと,総合的な2Dおよび3D同期データモダリティを含む。
クローズドおよびオープンワールド認識ベンチマーク用のさまざまなオブジェクトクラス、評価のためのOSPAベースのメトリクス。
論文 参考訳（メタデータ） (2024-04-02T06:43:22Z) - HOI-M3:Capture Multiple Humans and Objects Interaction within Contextual Environment [43.6454394625555]
HOI-M3は、複数のhumanと複数のオブジェクトの相互作用をモデル化するための、新しい大規模データセットである。
密集したRGBとオブジェクト搭載IMU入力から、人間と物体の両方の正確な3Dトラッキングを提供する。
論文 参考訳（メタデータ） (2024-03-30T09:24:25Z) - ActFormer: Scalable Collaborative Perception via Active Queries [12.020585564801781]
協調的知覚は、複数のロボットからの豊かな視覚的観察を利用して、単一のロボットの知覚能力を視野を超えて拡張する。
本稿では,鳥の目視(BEV)表現を予め定義されたBEVクエリを用いて学習し,マルチロボットマルチカメラ入力と対話するトランスフォーマーActFormerを提案する。
V2X-Simデータセットの実験では、ActFormerが検出性能を29.89%から45.15%に改善し、約50%のクエリが削減された。
論文 参考訳（メタデータ） (2024-03-08T00:45:18Z) - NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot
Learning in Natural Human-Robot Interaction [19.65778558341053]
HRIデータセットは、オブジェクトのポインティングやプッシュといった基本的なタスクに重点を置いていることが多い。
音声とジェスチャーによる人間のコマンドを含むマルチモーダルHRIデータセットであるNatSGDを紹介する。
マルチモーダル・ヒューマン・コマンドによるタスク理解のためのロボットの訓練において,その効果を実証する。
論文 参考訳（メタデータ） (2024-03-04T18:02:41Z) - Inter-X: Towards Versatile Human-Human Interaction Analysis [100.254438708001]
正確な身体の動きと多様な相互作用パターンを持つデータセットであるInter-Xを提案する。
データセットは、1Kの相互作用シーケンスと8.1Mフレーム以上を含む。
また、Inter-Xには34K以上の微粒な人間のテキスト記述の多義アノテーションも備えています。
論文 参考訳（メタデータ） (2023-12-26T13:36:05Z) - Towards a Unified Transformer-based Framework for Scene Graph Generation
and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。
本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。
提案手法は最先端のHOI法と比較して競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-03T07:25:57Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - Cetacean Translation Initiative: a roadmap to deciphering the
communication of sperm whales [97.41394631426678]
最近の研究では、非ヒト種における音響コミュニケーションを分析するための機械学習ツールの約束を示した。
マッコウクジラの大量生物音響データの収集と処理に必要な重要な要素について概説する。
開発された技術能力は、非人間コミュニケーションと動物行動研究を研究する幅広いコミュニティにおいて、クロス応用と進歩をもたらす可能性が高い。
論文 参考訳（メタデータ） (2021-04-17T18:39:22Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。