論文の概要: Randomized 3D Scene Generation for Generalizable Self-Supervised Pre-Training

• arxiv url: http://arxiv.org/abs/2306.04237v2
• Date: Sun, 6 Aug 2023 13:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 22:42:00.517211
• Title: Randomized 3D Scene Generation for Generalizable Self-Supervised Pre-Training
• Title（参考訳）: 一般化可能な自己監督型事前学習のためのランダム化3次元シーン生成
• Authors: Lanxiao Li and Michael Heizmann
• Abstract要約: 球面高調波を用いた3次元シーン生成手法を提案する。 従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capturing and labeling real-world 3D data is laborious and time-consuming, which makes it costly to train strong 3D models. To address this issue, recent works present a simple method by generating randomized 3D scenes without simulation and rendering. Although models pre-trained on the generated synthetic data gain impressive performance boosts, previous works have two major shortcomings. First, they focus on only one downstream task (i.e., object detection), and the generalization to other tasks is unexplored. Second, the contributions of generated data are not systematically studied. To obtain a deeper understanding of the randomized 3D scene generation technique, we revisit previous works and compare different data generation methods using a unified setup. Moreover, to clarify the generalization of the pre-trained models, we evaluate their performance in multiple tasks (i.e., object detection and semantic segmentation) and with different pre-training methods (i.e., masked autoencoder and contrastive learning). Moreover, we propose a new method to generate 3D scenes with spherical harmonics. It surpasses the previous formula-driven method with a clear margin and achieves on-par results with methods using real-world scans and CAD models.
• Abstract（参考訳）: 現実世界の3Dデータのキャプチャとラベル付けには手間がかかり、時間を要する。 この問題に対処するため,最近の研究では,シミュレーションやレンダリングを行わずにランダムな3dシーンを生成できる簡単な手法を提案する。 生成された合成データに基づいて事前学習されたモデルは、驚くべきパフォーマンス向上をもたらすが、以前の作品には2つの大きな欠点がある。 まず、1つの下流タスク(オブジェクト検出)のみに焦点を当て、他のタスクへの一般化は未探索である。 第二に、生成されたデータの貢献は体系的に研究されていない。 ランダム化された3次元シーン生成手法をより深く理解するため,先行研究を再検討し,統一的なセットアップを用いて異なるデータ生成手法を比較した。 さらに,事前学習モデルの一般化を明らかにするため,複数のタスク(オブジェクト検出とセマンティックセグメンテーション)と,異なる事前学習手法(マスク付きオートエンコーダとコントラスト学習)でそれらの性能を評価する。 さらに,球面高調波を伴う3次元シーンを生成する新しい手法を提案する。 従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。

関連論文リスト

• 3D-VirtFusion: Synthetic 3D Data Augmentation through Generative Diffusion Models and Controllable Editing [52.68314936128752]
  本研究では,事前学習された大規模基盤モデルのパワーを活用して,3次元ラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 各ターゲットセマンティッククラスに対して、まず、拡散モデルとチャットGPT生成したテキストプロンプトを介して、様々な構造と外観の1つのオブジェクトの2D画像を生成する。 我々は、これらの拡張画像を3Dオブジェクトに変換し、ランダムな合成によって仮想シーンを構築する。
  論文  参考訳（メタデータ） (2024-08-25T09:31:22Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
  3Dモデリングと再構築のための新しい学習フレームワークを紹介します。 提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
  論文  参考訳（メタデータ） (2020-12-14T03:56:31Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)
• PolyGen: An Autoregressive Generative Model of 3D Meshes [22.860421649320287]
  本稿では,Transformerベースのアーキテクチャを用いてメッシュを直接モデル化するアプローチを提案する。 我々のモデルは、オブジェクトクラス、ボクセル、イメージなど、様々な入力を条件にすることができる。 このモデルでは、高品質で使い勝手の良いメッシュを生成でき、メッシュモデリングタスクのためのログライクなベンチマークを確立することができる。
  論文  参考訳（メタデータ） (2020-02-23T17:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。