論文の概要: Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments
- arxiv url: http://arxiv.org/abs/2103.16095v1
- Date: Tue, 30 Mar 2021 05:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 15:09:16.037960
- Title: Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments
- Title(参考訳): パノプティカルマッピングとCADモデルアライメントによるインタラクティブ3次元シーンの再構築
- Authors: Muzhi Han, Zeyu Zhang, Ziyuan Jiao, Xu Xie, Yixin Zhu, Song-Chun Zhu,
Hangxin Liu
- Abstract要約: エンボディエージェントの観点から,シーン再構築の問題を再考する。
rgb-dデータストリームを用いてインタラクティブシーンを再構築する。
この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
- 参考スコア(独自算出の注目度): 81.38641691636847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we rethink the problem of scene reconstruction from an
embodied agent's perspective: While the classic view focuses on the
reconstruction accuracy, our new perspective emphasizes the underlying
functions and constraints such that the reconstructed scenes provide
\em{actionable} information for simulating \em{interactions} with agents. Here,
we address this challenging problem by reconstructing an interactive scene
using RGB-D data stream, which captures (i) the semantics and geometry of
objects and layouts by a 3D volumetric panoptic mapping module, and (ii) object
affordance and contextual relations by reasoning over physical common sense
among objects, organized by a graph-based scene representation. Crucially, this
reconstructed scene replaces the object meshes in the dense panoptic map with
part-based articulated CAD models for finer-grained robot interactions. In the
experiments, we demonstrate that (i) our panoptic mapping module outperforms
previous state-of-the-art methods, (ii) a high-performant physical reasoning
procedure that matches, aligns, and replaces objects' meshes with best-fitted
CAD models, and (iii) reconstructed scenes are physically plausible and
naturally afford actionable interactions; without any manual labeling, they are
seamlessly imported to ROS-based simulators and virtual environments for
complex robot task executions.
- Abstract(参考訳): 本稿では,エージェントの視点からシーン復元の問題を再考する:古典的視点は再構成精度に焦点をあてるが,新しい視点では,再構成されたシーンがエージェントと<em{interactions}をシミュレートするための<em{actionable}情報を提供するような,基本的な機能と制約を強調している。
本稿では,rgb-dデータストリームを用いてインタラクティブなシーンを再構成し,(i)3次元ボリュームパノタイプマッピングモジュールによってオブジェクトとレイアウトの意味と形状をキャプチャし,(ii)グラフベースのシーン表現によって整理されたオブジェクト間の物理的共通感覚を推論することにより,オブジェクトのアフォーマンスとコンテクストの関係を捉えることで,この課題を解決する。
重要なことに、この再構成されたシーンは、密集したパノプティクスマップのオブジェクトメッシュを、よりきめ細かなロボットインタラクションのための部分ベースのCADモデルに置き換える。
実験では,<i>Panoptic mapping module</i>が従来の最先端手法より優れており,(ii)オブジェクトのメッシュと最適なCADモデルとの整合,整合,置換を行う高性能な物理的推論手順,(iii)再構成シーンは物理的に可視であり,自然に動作可能な相互作用が可能であること,(iii)手動ラベリングなしではROSベースのシミュレータや複雑なロボットタスクの実行環境にシームレスにインポートされることを示した。
関連論文リスト
- Interaction-Driven Active 3D Reconstruction with Object Interiors [17.48872400701787]
本稿では,視覚認識,ロボットと物体の相互作用,および3Dスキャンを統合したアクティブな3次元再構成手法を提案する。
本手法は,RGBDセンサを内蔵したFetchロボットによって自動的に動作させる。
論文 参考訳(メタデータ) (2023-10-23T08:44:38Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - AutoRecon: Automated 3D Object Discovery and Reconstruction [41.60050228813979]
多視点画像からのオブジェクトの自動発見と再構築のための新しいフレームワークAutoReconを提案する。
本研究では,SfM点群からフォアグラウンド・オブジェクトの位置とセグメンテーションを,自己監督型2次元ビジョン・トランスフォーマーの機能を活用して行うことを実証する。
DTU、BlendedMVS、CO3D-V2データセットの実験はAutoReconの有効性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-05-15T17:16:46Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳(メタデータ) (2022-08-04T14:13:35Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:41:24Z) - Object Scene Representation Transformer [56.40544849442227]
オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。
OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。
光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
論文 参考訳(メタデータ) (2022-06-14T15:40:47Z) - TSDF++: A Multi-Object Formulation for Dynamic Object Tracking and
Reconstruction [57.1209039399599]
我々は,シーン全体とその中のすべてのオブジェクトに対して,単一のボリュームを維持できるマップ表現を提案する。
複数の動的オブジェクト追跡および再構成シナリオにおいて,本表現は,近接して移動する他のオブジェクトによって一時的にオクルードされても,表面の正確な再構成を維持できる。
提案したTSDF++の定式化を公開合成データセット上で評価し,標準のTSDFマップ表現と比較した場合の閉塞面の復元性を示す。
論文 参考訳(メタデータ) (2021-05-16T16:15:05Z) - Dynamic Object Removal and Spatio-Temporal RGB-D Inpainting via
Geometry-Aware Adversarial Learning [9.150245363036165]
動的物体はロボットの環境に対する認識に大きな影響を及ぼす。
本研究は,動的物体によって隠蔽された領域における可塑性色,テクスチャ,幾何学を合成することにより,この問題に対処する。
本研究は, 対人訓練を用いて建築を最適化し, オンラインで色と深度構造を幻覚できるような, 微妙な現実的なテクスチャを合成する。
論文 参考訳(メタデータ) (2020-08-12T01:23:21Z) - SceneCAD: Predicting Object Alignments and Layouts in RGB-D Scans [24.06640371472068]
本稿では,コモディティRGB-Dセンサからスキャンした3D環境の軽量CADによる表現を再構築する手法を提案する。
私たちのキーとなるアイデアは、CADモデルのアライメントとスキャンされたシーンのレイアウト推定の両方を共同で最適化することです。
論文 参考訳(メタデータ) (2020-03-27T20:17:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。