論文の概要: Objaverse-XL: A Universe of 10M+ 3D Objects
- arxiv url: http://arxiv.org/abs/2307.05663v1
- Date: Tue, 11 Jul 2023 17:57:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 15:36:45.531273
- Title: Objaverse-XL: A Universe of 10M+ 3D Objects
- Title(参考訳): オブジャバースXL:10M以上の3Dオブジェクトの宇宙
- Authors: Matt Deitke, Ruoshi Liu, Matthew Wallingford, Huong Ngo, Oscar Michel,
Aditya Kusupati, Alan Fan, Christian Laforte, Vikram Voleti, Samir Yitzhak
Gadre, Eli VanderBilt, Aniruddha Kembhavi, Carl Vondrick, Georgia Gkioxari,
Kiana Ehsani, Ludwig Schmidt, Ali Farhadi
- Abstract要約: Averse-XLは1000万以上の3Dオブジェクトからなるデータセットである。
1億枚以上のマルチビューレンダリング画像を利用して、新しい視点でZero123をトレーニングすることにより、ゼロショットの強力な一般化能力が得られることを示す。
- 参考スコア(独自算出の注目度): 58.02773375519506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language processing and 2D vision models have attained remarkable
proficiency on many tasks primarily by escalating the scale of training data.
However, 3D vision tasks have not seen the same progress, in part due to the
challenges of acquiring high-quality 3D data. In this work, we present
Objaverse-XL, a dataset of over 10 million 3D objects. Our dataset comprises
deduplicated 3D objects from a diverse set of sources, including manually
designed objects, photogrammetry scans of landmarks and everyday items, and
professional scans of historic and antique artifacts. Representing the largest
scale and diversity in the realm of 3D datasets, Objaverse-XL enables
significant new possibilities for 3D vision. Our experiments demonstrate the
improvements enabled with the scale provided by Objaverse-XL. We show that by
training Zero123 on novel view synthesis, utilizing over 100 million multi-view
rendered images, we achieve strong zero-shot generalization abilities. We hope
that releasing Objaverse-XL will enable further innovations in the field of 3D
vision at scale.
- Abstract(参考訳): 自然言語処理と2次元視覚モデルは、主にトレーニングデータの規模を拡大することによって、多くのタスクにおいて顕著な熟練を達成した。
しかし、高品質な3Dデータを取得することの難しさもあって、3Dビジョンタスクは同じ進歩を見せていない。
本研究では,1000万以上の3dオブジェクトのデータセットobjaverse-xlを提案する。
我々のデータセットは、手動でデザインされたオブジェクト、ランドマークや日常のアイテムのフォトグラムスキャン、歴史的、古美術品のプロのスキャンを含む、さまざまなソースから3Dオブジェクトを分離する。
Objaverse-XLは3Dデータセットの領域で最大のスケールと多様性を表現し、3Dビジョンのための大きな新しい可能性を提供します。
実験はobjaverse-xlのスケールで実現された改善を示す。
1億以上のマルチビューレンダリング画像を用いて,ゼロ123を新規なビュー合成にトレーニングすることで,強力なゼロショット一般化能力が得られることを示す。
Objaverse-XLをリリースすることで、大規模な3Dビジョンの分野でさらなるイノベーションが可能になることを願っています。
関連論文リスト
- Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。
Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。
強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
論文 参考訳(メタデータ) (2023-10-10T16:49:21Z) - MagicDrive: Street View Generation with Diverse 3D Geometry Control [86.84570246661598]
多様な3D幾何学制御を提供する新しいストリートビュー生成フレームワークであるMagicDriveを紹介した。
私たちの設計では、複数のカメラビュー間の一貫性を確保するために、クロスビューアテンションモジュールが組み込まれています。
論文 参考訳(メタデータ) (2023-10-04T06:14:06Z) - 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。
本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。
具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
論文 参考訳(メタデータ) (2023-07-24T17:59:02Z) - Learning Hand-Held Object Reconstruction from In-The-Wild Videos [19.16274394098004]
我々はObManデータセットから合成オブジェクトを用いてデータ駆動型3次元形状を学習する。
我々はこれらの間接的な3次元キューを用いて、単一のRGB画像から物体の3次元形状を予測する占有ネットワークを訓練する。
論文 参考訳(メタデータ) (2023-05-04T17:56:48Z) - OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic
Perception, Reconstruction and Generation [107.71752592196138]
OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。
190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。
それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
論文 参考訳(メタデータ) (2023-01-18T18:14:18Z) - Objaverse: A Universe of Annotated 3D Objects [53.2537614157313]
800K以上の(そして成長する)3Dモデルと記述タグ,キャプション,アニメーションを備えたオブジェクトの大規模なデータセットであるAverse 1.0を提示する。
多様な3Dモデルのトレーニング、LVISベンチマークでのテールカテゴリセグメンテーションの改善、エンボディードビジョンモデルのためのオープン語彙オブジェクトナビゲーションモデルのトレーニング、そしてビジョンモデルのロバストネス分析のための新しいベンチマークを作成する。
論文 参考訳(メタデータ) (2022-12-15T18:56:53Z) - Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。
この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
論文 参考訳(メタデータ) (2022-10-05T13:10:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。