論文の概要: HUI360: A 360° Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation
- arxiv url: http://arxiv.org/abs/2608.11051v1
- Date: Tue, 11 Aug 2026 15:22:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.102494
- Title: HUI360: A 360° Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation
- Title（参考訳）: HUI360:人間とロボットのインタラクション予測のための360度エゴセントリックなデータセットとベースライン
- Abstract要約: HUI360は,野生における人間とロボットの相互作用予測のための最大のデータセットである。
データセットは3ヶ月以内に、野生の移動ロボットから複数日間にわたって収集された。
我々は、詳細な2Dポーズ、顔のキーポイント、セグメンテーションマスクを含む、1Mの事前処理されたアノテーションのHUI360オープンセットをリリースする。
また、ロボットの自我中心の視点から捉えた、生の360度画像も公開しています。
- 参考スコア（独自算出の注目度）: 25.807307567309323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As robots increasingly operate in human-populated environments, anticipating human intentions is essential for enabling proactive and socially aware behavior. Automatic anticipation of human-robot interactions is thus emerging as a crucial perception challenge for embodied agents. To this end, we introduce HUI360, the largest dataset for human-robot interaction anticipation in the wild and its set of baselines. The dataset was collected from a mobile robot, in the wild, over multiple days within a 3-month period, and in several environments, capturing natural, spontaneous behaviors from both passersby and users, and encompassing a diverse range of individuals. This variety enables evaluating and improving the generalization capabilities of interaction anticipation models. We designed a pipeline and share code for automatic interaction annotation in arbitrary 360-degree equirectangular videos, along with interfaces for manual refinement. Using this pipeline, we release the HUI360 open set of 1M pre-processed annotations, including detailed 2D poses, facial keypoints, and segmentation masks, obtained using state-of-the-art computer vision methods and manually curated to ensure high-quality tracking and interaction annotation. Additionally, we release the raw panoptic 360-degree images captured from the robot's egocentric viewpoint (on demand, for research purpose only in compliance with GDPR). Finally, we establish benchmark baselines for interaction anticipation, including the first cross-dataset evaluations for this task: to this end, we also release 6M annotations for another existing in-the-wild outdoor dataset collected from a mobile robot (SSUP-HRI). Dataset and code can be found at https://hucebot.github.io/hui360.
- Abstract（参考訳）: ロボットが人口の多い環境でますます活動するにつれて、人間の意図を予測することは、積極的に社会的に意識された行動を可能にするために不可欠である。
このように、人間とロボットの相互作用の自動予測は、エンボディエージェントにとって重要な認識課題として浮上している。
この目的のために,人間とロボットの相互作用予測のための最大のデータセットであるHUI360とそのベースラインについて紹介する。
データセットは、移動ロボット、野生のロボット、3ヶ月以内に数日間にわたって、そしていくつかの環境で収集され、通行人と利用者の両方から自然で自発的な振る舞いを捉え、多様な個人を包含した。
この多様性は、相互作用予測モデルの一般化能力の評価と改善を可能にする。
任意の360度等角ビデオにおける自動対話アノテーションのためのパイプラインとコード共有と,手作業による改善のためのインタフェースを設計した。
このパイプラインを用いて,2次元ポーズ,顔のキーポイント,セグメンテーションマスクを含む1Mの事前処理済みアノテーションからなるHUI360オープンセットを,最先端のコンピュータビジョン手法を用いて手作業で作成し,高品質なトラッキングおよびインタラクションアノテーションを保証する。
さらに,ロボットの自我中心的な視点から捉えた生のパノプティカル360度画像(オンデマンドでは,GDPRに適合する研究目的のみ)を公開する。
最後に,この課題に対する最初のクロスデータセット評価を含む,インタラクション予測のためのベンチマークベースラインを確立する。この目的を達成するため,移動ロボット(SSUP-HRI)から収集した既存の屋外データセットに対して,6Mアノテーションもリリースする。
データセットとコードはhttps://hucebot.github.io/hui360で確認できる。
関連論文リスト
- JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics [15.188501869677532]
JRDB-Pose3Dは、モバイルロボットプラットフォームから、屋内および屋外のマルチヒューマン環境をキャプチャする。
JRDB-Pose3Dには、平均して1フレームあたり5～10人のポーズがあり、最大35人の人物が同時に登場するシーンもある。
論文 参考訳（メタデータ） (2026-02-03T03:46:27Z) - Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。
この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。
我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2025-08-06T17:46:23Z) - Recognizing Actions from Robotic View for Natural Human-Robot Interaction [52.00935005918032]
自然人-ロボットインタラクション(Natural Human-Robot Interaction, N-HRI)は、ロボット自身が動いているか静止しているかに関わらず、ロボットが様々な距離と状態で人間の行動を認識することを要求する。
N-HRIの既存のベンチマークは、限られたデータ、モダリティ、タスクカテゴリ、主題や環境の多様性のために、N-HRIのユニークな複雑さに対処できない。
モバイルサービスロボットで広く使われている知覚中心ロボットビューのための大規模データセット(Action from Robotic View)を紹介する。
論文 参考訳（メタデータ） (2025-07-30T09:48:34Z) - HandMeThat: Human-Robot Communication in Physical and Social
Environments [73.91355172754717]
HandMeThatは、物理的および社会的環境における命令理解とフォローの総合評価のためのベンチマークである。
HandMeThatには、人間とロボットの対話の1万エピソードが含まれている。
オフラインとオンラインの強化学習アルゴリズムはHandMeThatでは性能が良くないことを示す。
論文 参考訳（メタデータ） (2023-10-05T16:14:46Z) - ATTACH Dataset: Annotated Two-Handed Assembly Actions for Human Action
Understanding [8.923830513183882]
ATTACHデータセットは、95.2kの注釈付き微粒なアクションを3台のカメラで監視する51.6時間のアセンブリを含む。
ATTACHデータセットでは、アノテーションの68%以上が他のアノテーションと重複している。
ビデオおよび骨格配列入力における動作検出だけでなく,動作認識のための最先端手法の性能について報告する。
論文 参考訳（メタデータ） (2023-04-17T12:31:24Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of
Demonstrations for Social Navigation [92.66286342108934]
社会ナビゲーションは、ロボットのような自律的なエージェントが、人間のような他の知的エージェントの存在下で、社会的に従順な方法でナビゲートする能力である。
私たちのデータセットには8.7時間、128の軌道、25マイルの社会的に適合した人間の遠隔運転デモが含まれています。
論文 参考訳（メタデータ） (2022-03-28T19:09:11Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。
システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。
公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
論文 参考訳（メタデータ） (2021-03-17T15:24:02Z) - The MECCANO Dataset: Understanding Human-Object Interactions from
Egocentric Videos in an Industrial-like Domain [20.99718135562034]
我々は,産業的な環境下での人間と物体の相互作用を研究するための,エゴセントリックビデオの最初のデータセットであるMECCANOを紹介した。
このデータセットは、人間とオブジェクトの相互作用をエゴセントリックな視点から認識するタスクのために明示的にラベル付けされている。
ベースラインの結果から,MECCANOデータセットは,産業的なシナリオにおける自我中心の人間とオブジェクトの相互作用を研究する上で,困難なベンチマークであることが示された。
論文 参考訳（メタデータ） (2020-10-12T12:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。