論文の概要: Randomized 3D Scene Generation for Generalizable Self-supervised
Pre-training
- arxiv url: http://arxiv.org/abs/2306.04237v1
- Date: Wed, 7 Jun 2023 08:28:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 15:39:55.794773
- Title: Randomized 3D Scene Generation for Generalizable Self-supervised
Pre-training
- Title(参考訳): 一般化可能な自己教師付き事前学習のためのランダム化3次元シーン生成
- Authors: Lanxiao Li and Michael Heizmann
- Abstract要約: 球面高調波を用いた3次元シーン生成手法を提案する。
従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Capturing and labeling real-world 3D data is laborious and time-consuming,
which makes it costly to train strong 3D models. To address this issue,
previous works generate randomized 3D scenes and pre-train models on generated
data. Although the pre-trained models gain promising performance boosts,
previous works have two major shortcomings. First, they focus on only one
downstream task (i.e., object detection). Second, a fair comparison of
generated data is still lacking. In this work, we systematically compare data
generation methods using a unified setup. To clarify the generalization of the
pre-trained models, we evaluate their performance in multiple tasks (e.g.,
object detection and semantic segmentation) and with different pre-training
methods (e.g., masked autoencoder and contrastive learning). Moreover, we
propose a new method to generate 3D scenes with spherical harmonics. It
surpasses the previous formula-driven method with a clear margin and achieves
on-par results with methods using real-world scans and CAD models.
- Abstract(参考訳): 現実世界の3Dデータのキャプチャとラベル付けには手間がかかり、時間を要する。
この問題に対処するため、以前の研究は、生成されたデータに基づいてランダム化された3Dシーンと事前トレーニングモデルを生成する。
事前訓練されたモデルは有望なパフォーマンス向上をもたらすが、以前の作業には2つの大きな欠点がある。
まず、ダウンストリームタスク(すなわちオブジェクト検出)のみに焦点を当てます。
第二に、生成されたデータの公正な比較はまだ欠けている。
本研究では,データ生成手法を統一的な設定で体系的に比較する。
事前学習モデルの一般化を明らかにするために,複数のタスク(オブジェクト検出やセマンティクスセグメンテーションなど)と異なる事前学習方法(マスクオートエンコーダやコントラスト学習など)において,その性能を評価する。
さらに,球面高調波を伴う3次元シーンを生成する新しい手法を提案する。
従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。
関連論文リスト
- 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳(メタデータ) (2024-03-17T06:31:16Z) - Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。
我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
論文 参考訳(メタデータ) (2022-03-25T00:20:31Z) - Fast mesh denoising with data driven normal filtering using deep
variational autoencoders [6.25118865553438]
本研究では,高密度3次元走査型産業モデルに対する高速で頑健な復調法を提案する。
提案手法は条件付き変分オートエンコーダを用いて顔正規化を効果的にフィルタする。
1e4面以上の3Dモデルでは、提示されたパイプラインは等価な再構成誤差を持つメソッドの2倍高速である。
論文 参考訳(メタデータ) (2021-11-24T20:25:15Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z) - Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
3Dモデリングと再構築のための新しい学習フレームワークを紹介します。
提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
論文 参考訳(メタデータ) (2020-12-14T03:56:31Z) - Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
テクスチャ化された3Dメッシュの最初の生成モデルを示す。
我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。
レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
論文 参考訳(メタデータ) (2020-04-08T18:00:37Z) - DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes [54.239416488865565]
LIDARデータに対する高速な1段3次元物体検出法を提案する。
我々の手法の中核となる新規性は高速かつシングルパスアーキテクチャであり、どちらも3次元の物体を検出し、それらの形状を推定する。
提案手法は,ScanNetシーンのオブジェクト検出で5%,オープンデータセットでは3.4%の精度で結果が得られた。
論文 参考訳(メタデータ) (2020-04-02T17:48:50Z) - PolyGen: An Autoregressive Generative Model of 3D Meshes [22.860421649320287]
本稿では,Transformerベースのアーキテクチャを用いてメッシュを直接モデル化するアプローチを提案する。
我々のモデルは、オブジェクトクラス、ボクセル、イメージなど、様々な入力を条件にすることができる。
このモデルでは、高品質で使い勝手の良いメッシュを生成でき、メッシュモデリングタスクのためのログライクなベンチマークを確立することができる。
論文 参考訳(メタデータ) (2020-02-23T17:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。