論文の概要: ECHO: Embodied Camera Observations of Human Object Carrying
- arxiv url: http://arxiv.org/abs/2610.10438v1
- Date: Wed, 07 Oct 2026 17:15:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.070292
- Title: ECHO: Embodied Camera Observations of Human Object Carrying
- Title(参考訳): 心電図:人体搬送の身体的カメラ観測
- Abstract要約: 大規模合成データセットである人体搬送(ECHO)の身体カメラによる観察を行った。
ECHOは、再構築されたシーン、人間の活動、自然言語、コンテキスト配置アノテーションを組み合わせた初めての公開データセットである。
以上の結果から,シーン構造や人間の活動,文脈的知識を共同で判断する必要性が浮き彫りになる。
- 参考スコア(独自算出の注目度): 16.480961184569868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied and assistive agents must do more than recognize objects: they must reason about where an object belongs given the layout of an environment and the habits of the people who live in it. Progress on this problem has been limited, in part because no dedicated benchmark or dataset exists to define and evaluate it. Existing RGB-D scan datasets reconstruct static rooms without human activity, while human-object-interaction datasets capture motion without a navigable, fully reconstructed scene or a ground-truth notion of an object's natural destination. We introduce contextual object placement as a benchmark task: predicting an object's destination during an observed object-carrying episode. To support this task, we present Embodied Camera observations of Human Object carrying (ECHO), a large-scale synthetic dataset that pairs dense RGB-D scans of indoor scenes with recordings of an embodied human carrying everyday objects to context-appropriate destinations. ECHO is the first publicly available dataset to combine reconstructed scenes, human activity, natural language, and contextual-placement annotations. It comprises 3,805 human-annotated episodes across 159 floors of 115 HM3D scenes, involving 198 distinct objects. Each floor includes a complete RGB-D scan with human-annotated room labels and a surface list. Each episode provides synchronized RGB-D encounter clips; 6-DoF camera, human, and object trajectories; start and destination surfaces; an action caption; and a human-written context: a single sentence describing the inhabitant's routine that implies the destination without naming it. We evaluate contextual object placement using input-masked probes and an end-to-end baseline. Results show that no single input modality is sufficient, highlighting the need to jointly reason over scene structure, human activity, and contextual knowledge.
- Abstract(参考訳): 身体的および補助的エージェントは、オブジェクトを認識する以上のことをしなければならない。それらは、環境のレイアウトとそれに住む人々の習慣によって、オブジェクトがどこにあるのかを推論しなければならない。
この問題の進展は、その定義と評価のための専用のベンチマークやデータセットが存在しないため、一部で制限されている。
既存のRGB-Dスキャンデータセットは、人間の活動なしに静的な部屋を再構築する一方、人間と物体の相互作用データセットは、ナビゲート可能で完全に再構成されたシーンや、物体の自然な目的地の地道的な概念なしで動きをキャプチャする。
我々は,観測対象の移動エピソード中に対象の目的地を予測するベンチマークタスクとして,コンテキストオブジェクト配置を導入する。
この課題を支援するために,室内シーンの高密度RGB-Dスキャンと,日常の物を運ぶエンボディード人間の記録とを組み合わせた大規模合成データセットであるヒューマン・オブジェクト・キャリング(ECHO)のエンボディード・カメラによる観察を行った。
ECHOは、再構築されたシーン、人間の活動、自然言語、コンテキスト配置アノテーションを組み合わせた初めての公開データセットである。
115のHM3Dシーンの159階に3,805件の人間による注釈付きエピソードがあり、198件の異なるオブジェクトを含んでいる。
各フロアには、人間のアノテートされた部屋ラベルと表面リストを備えた完全なRGB-Dスキャンが含まれている。
それぞれのエピソードは、同期されたRGB-Dの出会いクリップ、6-DoFカメラ、人間、オブジェクトの軌跡、開始と目的地の表面、アクションキャプション、および人間の記述されたコンテキストを提供する。
入力型プローブとエンドツーエンドのベースラインを用いて,コンテキストオブジェクトの配置を評価する。
以上の結果から,シーン構造や人間の活動,文脈的知識を共同で判断する必要性が浮き彫りになる。
関連論文リスト
- Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。
新たな統合的ツイスト推定法を用いて調音モデルを推定する。
また,Arti4D-Semanticデータセットについても紹介する。
論文 参考訳(メタデータ) (2026-02-18T10:40:35Z) - JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics [15.188501869677532]
JRDB-Pose3Dは、モバイルロボットプラットフォームから、屋内および屋外のマルチヒューマン環境をキャプチャする。
JRDB-Pose3Dには、平均して1フレームあたり5~10人のポーズがあり、最大35人の人物が同時に登場するシーンもある。
論文 参考訳(メタデータ) (2026-02-03T03:46:27Z) - PersONAL: Towards a Comprehensive Benchmark for Personalized Embodied Agents [47.44972258523047]
PersONALは、Embodied AIのパーソナライゼーションを研究するためのベンチマークである。
HM3Dデータセットから、30以上のフォトリアリスティックな家庭に2,000以上の高品質なエピソードを収録する。
ベンチマークでは,(1)見えない環境でのアクティブナビゲーション,(2)マップされたシーンでのオブジェクトグラウンドの2つの評価モードがサポートされている。
論文 参考訳(メタデータ) (2025-09-24T07:39:16Z) - Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。
我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2023-12-13T14:27:45Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。