論文の概要: 3D Semantic MapNet: Building Maps for Multi-Object Re-Identification in 3D
- arxiv url: http://arxiv.org/abs/2403.13190v1
- Date: Tue, 19 Mar 2024 23:01:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 18:27:31.991640
- Title: 3D Semantic MapNet: Building Maps for Multi-Object Re-Identification in 3D
- Title（参考訳）: 3Dセマンティックマップネット:3Dのマルチオブジェクト再識別のためのマップの構築
- Authors: Vincent Cartillier, Neha Jain, Irfan Essa,
- Abstract要約: 具体化ツアーにおける3次元多目的再識別の課題について検討する。
本稿では3Dセマンティックマップネットについて,RGB-Dビデオで動作する3Dオブジェクト検出器と,識別可能なオブジェクトマッチングモジュールからなる2段階の再同定モデルを提案する。
全体として、3D-SMNetは、各レイアウトのオブジェクトベースのマップを構築し、その後、各ツアーのオブジェクトを再識別するために、差別化可能なマーカを使用する。
- 参考スコア（独自算出の注目度）: 16.436661725188962
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We study the task of 3D multi-object re-identification from embodied tours. Specifically, an agent is given two tours of an environment (e.g. an apartment) under two different layouts (e.g. arrangements of furniture). Its task is to detect and re-identify objects in 3D - e.g. a "sofa" moved from location A to B, a new "chair" in the second layout at location C, or a "lamp" from location D in the first layout missing in the second. To support this task, we create an automated infrastructure to generate paired egocentric tours of initial/modified layouts in the Habitat simulator using Matterport3D scenes, YCB and Google-scanned objects. We present 3D Semantic MapNet (3D-SMNet) - a two-stage re-identification model consisting of (1) a 3D object detector that operates on RGB-D videos with known pose, and (2) a differentiable object matching module that solves correspondence estimation between two sets of 3D bounding boxes. Overall, 3D-SMNet builds object-based maps of each layout and then uses a differentiable matcher to re-identify objects across the tours. After training 3D-SMNet on our generated episodes, we demonstrate zero-shot transfer to real-world rearrangement scenarios by instantiating our task in Replica, Active Vision, and RIO environments depicting rearrangements. On all datasets, we find 3D-SMNet outperforms competitive baselines. Further, we show jointly training on real and generated episodes can lead to significant improvements over training on real data alone.
- Abstract（参考訳）: 具体化ツアーにおける3次元多目的再識別の課題について検討する。
具体的には、エージェントは、2つの異なるレイアウト(例えば家具の配置)の下で環境(例えばアパート)の2つのツアーを与えられる。
例えば、ロケーションAからBへ移動した"ソファ"、ロケーションCにおける第2のレイアウトで新しい"チェア"、第1のレイアウトで第2のレイアウトに欠けているロケーションDからの"ランプ"などである。
このタスクを支援するために、我々は、Matterport3Dシーン、YCB、Googleスキャンされたオブジェクトを用いて、Habitatシミュレータで初期/修正レイアウトのペア・エゴセントリックなツアーを生成する自動化インフラを構築した。
3Dセマンティックマップネット(3D-SMNet)は,(1)RGB-Dビデオで動作する3Dオブジェクト検出器と(2)2組の3Dバウンディングボックス間の対応推定を解く微分可能なオブジェクトマッチングモジュールからなる2段階の再同定モデルである。
全体として、3D-SMNetは、各レイアウトのオブジェクトベースのマップを構築し、その後、各ツアーのオブジェクトを再識別するために、差別化可能なマーカを使用する。
生成されたエピソードを3D-SMNetでトレーニングした後,Replica,Active Vision,RIO環境においてタスクをインスタンス化することにより,実世界の再配置シナリオへのゼロショット転送を実証した。
すべてのデータセットにおいて、3D-SMNetは競争ベースラインよりも優れています。
さらに,実際のエピソードと生成されたエピソードを共同でトレーニングすることで,実際のデータのみのトレーニングよりも大きな改善がもたらされることを示す。
関連論文リスト
- ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳（メタデータ） (2023-11-29T20:30:18Z) - Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。
そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
論文 参考訳（メタデータ） (2023-09-08T19:27:01Z) - BUOL: A Bottom-Up Framework with Occupancy-aware Lifting for Panoptic 3D
Scene Reconstruction From A Single Image [33.126045619754365]
BUOLはOccupancy-aware Liftingを備えたフレームワークであり、単一の画像からパノプティカル3Dシーンを再構築する際の2つの問題に対処する。
提案手法は,3D-Frontおよび実世界のデータセットMatterport3Dにおける最先端の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-01T17:56:49Z) - SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。
提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。
本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-07T17:47:52Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳（メタデータ） (2022-08-04T14:13:35Z) - Roominoes: Generating Novel 3D Floor Plans From Existing 3D Rooms [22.188206636953794]
既存の3D部屋から新しい3Dフロアプランを作成するタスクを提案する。
1つは利用可能な2Dフロアプランを使用して、3Dルームの選択と変形をガイドし、もう1つは互換性のある3Dルームのセットを取得し、それらを新しいレイアウトに組み合わせることを学ぶ。
論文 参考訳（メタデータ） (2021-12-10T16:17:01Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳（メタデータ） (2021-04-06T02:22:24Z) - Disentangling 3D Prototypical Networks For Few-Shot Concept Learning [29.02523358573336]
本稿では,RGB-D画像をオブジェクトの形状やスタイルや背景シーンの地図に分解するニューラルネットワークアーキテクチャを提案する。
我々のネットワークには、画像形成過程、世界シーンの3次元幾何学、形状スタイルの相互作用を反映したアーキテクチャバイアスが組み込まれています。
論文 参考訳（メタデータ） (2020-11-06T14:08:27Z) - 3D Object Recognition By Corresponding and Quantizing Neural 3D Scene
Representations [29.61554189447989]
本稿では,RGB-D画像からオブジェクトを検出し,その3Dポーズを推測するシステムを提案する。
多くの既存のシステムはオブジェクトを識別し、3Dのポーズを推測できるが、それらは人間のラベルや3Dアノテーションに大きく依存している。
論文 参考訳（メタデータ） (2020-10-30T13:56:09Z) - Tracking Emerges by Looking Around Static Scenes, with Neural 3D Mapping [23.456046776979903]
本稿では,任意の場面(静的あるいは動的)における静止点のマルチビューデータを利用して,ニューラル3Dマッピングモジュールを学習することを提案する。
ニューラル3Dマッパーは、RGB-Dデータを入力として消費し、深い特徴の3Dボクセルグリッドを出力として生成する。
教師なし3Dオブジェクトトラッカーは、教師なし2Dと2.5Dのトラッカーよりも優れており、教師なし3Dオブジェクトトラッカーの精度に近づいていることを示す。
論文 参考訳（メタデータ） (2020-08-04T02:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。