論文の概要: Randomized 3D Scene Generation for Generalizable Self-Supervised
Pre-Training
- arxiv url: http://arxiv.org/abs/2306.04237v2
- Date: Sun, 6 Aug 2023 13:32:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 22:42:00.517211
- Title: Randomized 3D Scene Generation for Generalizable Self-Supervised
Pre-Training
- Title(参考訳): 一般化可能な自己監督型事前学習のためのランダム化3次元シーン生成
- Authors: Lanxiao Li and Michael Heizmann
- Abstract要約: 球面高調波を用いた3次元シーン生成手法を提案する。
従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Capturing and labeling real-world 3D data is laborious and time-consuming,
which makes it costly to train strong 3D models. To address this issue, recent
works present a simple method by generating randomized 3D scenes without
simulation and rendering. Although models pre-trained on the generated
synthetic data gain impressive performance boosts, previous works have two
major shortcomings. First, they focus on only one downstream task (i.e., object
detection), and the generalization to other tasks is unexplored. Second, the
contributions of generated data are not systematically studied. To obtain a
deeper understanding of the randomized 3D scene generation technique, we
revisit previous works and compare different data generation methods using a
unified setup. Moreover, to clarify the generalization of the pre-trained
models, we evaluate their performance in multiple tasks (i.e., object detection
and semantic segmentation) and with different pre-training methods (i.e.,
masked autoencoder and contrastive learning). Moreover, we propose a new method
to generate 3D scenes with spherical harmonics. It surpasses the previous
formula-driven method with a clear margin and achieves on-par results with
methods using real-world scans and CAD models.
- Abstract(参考訳): 現実世界の3Dデータのキャプチャとラベル付けには手間がかかり、時間を要する。
この問題に対処するため,最近の研究では,シミュレーションやレンダリングを行わずにランダムな3dシーンを生成できる簡単な手法を提案する。
生成された合成データに基づいて事前学習されたモデルは、驚くべきパフォーマンス向上をもたらすが、以前の作品には2つの大きな欠点がある。
まず、1つの下流タスク(オブジェクト検出)のみに焦点を当て、他のタスクへの一般化は未探索である。
第二に、生成されたデータの貢献は体系的に研究されていない。
ランダム化された3次元シーン生成手法をより深く理解するため,先行研究を再検討し,統一的なセットアップを用いて異なるデータ生成手法を比較した。
さらに,事前学習モデルの一般化を明らかにするため,複数のタスク(オブジェクト検出とセマンティックセグメンテーション)と,異なる事前学習手法(マスク付きオートエンコーダとコントラスト学習)でそれらの性能を評価する。
さらに,球面高調波を伴う3次元シーンを生成する新しい手法を提案する。
従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。
関連論文リスト
- PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。
我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
論文 参考訳(メタデータ) (2022-03-25T00:20:31Z) - Fast mesh denoising with data driven normal filtering using deep
variational autoencoders [6.25118865553438]
本研究では,高密度3次元走査型産業モデルに対する高速で頑健な復調法を提案する。
提案手法は条件付き変分オートエンコーダを用いて顔正規化を効果的にフィルタする。
1e4面以上の3Dモデルでは、提示されたパイプラインは等価な再構成誤差を持つメソッドの2倍高速である。
論文 参考訳(メタデータ) (2021-11-24T20:25:15Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z) - Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
3Dモデリングと再構築のための新しい学習フレームワークを紹介します。
提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
論文 参考訳(メタデータ) (2020-12-14T03:56:31Z) - Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
テクスチャ化された3Dメッシュの最初の生成モデルを示す。
我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。
レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
論文 参考訳(メタデータ) (2020-04-08T18:00:37Z) - DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes [54.239416488865565]
LIDARデータに対する高速な1段3次元物体検出法を提案する。
我々の手法の中核となる新規性は高速かつシングルパスアーキテクチャであり、どちらも3次元の物体を検出し、それらの形状を推定する。
提案手法は,ScanNetシーンのオブジェクト検出で5%,オープンデータセットでは3.4%の精度で結果が得られた。
論文 参考訳(メタデータ) (2020-04-02T17:48:50Z) - PolyGen: An Autoregressive Generative Model of 3D Meshes [22.860421649320287]
本稿では,Transformerベースのアーキテクチャを用いてメッシュを直接モデル化するアプローチを提案する。
我々のモデルは、オブジェクトクラス、ボクセル、イメージなど、様々な入力を条件にすることができる。
このモデルでは、高品質で使い勝手の良いメッシュを生成でき、メッシュモデリングタスクのためのログライクなベンチマークを確立することができる。
論文 参考訳(メタデータ) (2020-02-23T17:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。