論文の概要: 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places,
Objects, and Humans
- arxiv url: http://arxiv.org/abs/2002.06289v2
- Date: Tue, 16 Jun 2020 22:39:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 23:02:24.182608
- Title: 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places,
Objects, and Humans
- Title（参考訳）: 3次元動的シーングラフ:場所、物体、人間による行動可能な空間知覚
- Authors: Antoni Rosinol, Arjun Gupta, Marcus Abate, Jingnan Shi, Luca Carlone
- Abstract要約: 動作可能な空間知覚のための統一表現として,3次元ダイナミックシーングラフを提案する。
3D Dynamic Scene Graphsは、計画と意思決定、人間とロボットのインタラクション、長期的な自律性、シーン予測に大きな影響を与える可能性がある。
- 参考スコア（独自算出の注目度）: 27.747241700017728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a unified representation for actionable spatial perception: 3D
Dynamic Scene Graphs. Scene graphs are directed graphs where nodes represent
entities in the scene (e.g. objects, walls, rooms), and edges represent
relations (e.g. inclusion, adjacency) among nodes. Dynamic scene graphs (DSGs)
extend this notion to represent dynamic scenes with moving agents (e.g. humans,
robots), and to include actionable information that supports planning and
decision-making (e.g. spatio-temporal relations, topology at different levels
of abstraction). Our second contribution is to provide the first fully
automatic Spatial PerceptIon eNgine(SPIN) to build a DSG from visual-inertial
data. We integrate state-of-the-art techniques for object and human detection
and pose estimation, and we describe how to robustly infer object, robot, and
human nodes in crowded scenes. To the best of our knowledge, this is the first
paper that reconciles visual-inertial SLAM and dense human mesh tracking.
Moreover, we provide algorithms to obtain hierarchical representations of
indoor environments (e.g. places, structures, rooms) and their relations. Our
third contribution is to demonstrate the proposed spatial perception engine in
a photo-realistic Unity-based simulator, where we assess its robustness and
expressiveness. Finally, we discuss the implications of our proposal on modern
robotics applications. 3D Dynamic Scene Graphs can have a profound impact on
planning and decision-making, human-robot interaction, long-term autonomy, and
scene prediction. A video abstract is available at https://youtu.be/SWbofjhyPzI
- Abstract（参考訳）: 動作可能な空間知覚のための統一表現として,3次元ダイナミックシーングラフを提案する。
シーングラフは、ノードがシーン内のエンティティ(例えば、オブジェクト、壁、部屋)を表す方向グラフであり、エッジはノード間の関係(例えば、包摂、隣接)を表す。
ダイナミックシーングラフ(DSG)はこの概念を拡張して、移動エージェント(人間、ロボットなど)による動的なシーンを表現するとともに、計画と意思決定をサポートする実行可能な情報(時空間関係、抽象度の異なるトポロジーなど)を含む。
第2の貢献は、視覚慣性データからdsgを構築する最初の完全自動空間知覚エンジン(spin)を提供することです。
我々は,物体と人間の検出とポーズ推定に最先端の技術を統合するとともに,混み合った場面における物体,ロボット,および人間のノードのロバストな推定方法について述べる。
私たちの知る限りでは、この論文は視覚-慣性SLAMと密集した人間のメッシュ追跡を精査する最初の論文です。
さらに,室内環境(場所,構造,部屋など)の階層的表現とその関係を求めるアルゴリズムを提供する。
第3の貢献は、提案した空間認識エンジンをフォトリアリスティックなユニティベースシミュレータで実証し、その堅牢性と表現性を評価することである。
最後に,現代ロボット工学の応用における提案の意義について論じる。
3D Dynamic Scene Graphsは、計画と意思決定、人間とロボットのインタラクション、長期的な自律性、シーン予測に大きな影響を与える可能性がある。
ビデオ要約はhttps://youtu.be/SWbofjhyPzIで公開されている。
関連論文リスト
- 3D scene generation from scene graphs and self-attention [51.49886604454926]
本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。
我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
論文 参考訳（メタデータ） (2024-04-02T12:26:17Z) - CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。
9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。
このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
論文 参考訳（メタデータ） (2023-03-31T09:18:12Z) - Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。
私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。
シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2022-03-07T18:59:02Z) - Situational Graphs for Robot Navigation in Structured Indoor
Environments [9.13466172688693]
環境を表す1つのグラフからなるリアルタイムオンライン構築状況グラフ(S-Graphs)を提示する。
本手法は3次元LiDARスキャンから抽出した計測値と平面面を用いて3層Sグラフをリアルタイムに構築・最適化する。
提案手法は,ロボットのポーズ推定の最先端結果を示すだけでなく,環境の計量意味・トポロジーモデルにも寄与する。
論文 参考訳（メタデータ） (2022-02-24T16:59:06Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Kimera: from SLAM to Spatial Perception with 3D Dynamic Scene Graphs [20.960087818959206]
人間は、移動する環境の複雑な精神的モデルを形成することができます。
現在のロボットの内部表現は、環境の部分的かつ断片的な理解を提供する。
本稿では,新しい表現である3次元ダイナミックシーングラフを紹介する。
論文 参考訳（メタデータ） (2021-01-18T06:17:52Z) - Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。
本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。
本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
論文 参考訳（メタデータ） (2020-11-03T19:23:06Z) - Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。
本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。
本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
論文 参考訳（メタデータ） (2020-04-08T12:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。