論文の概要: Text-guided Synthetic Geometric Augmentation for Zero-shot 3D Understanding

• arxiv url: http://arxiv.org/abs/2501.09278v1
• Date: Thu, 16 Jan 2025 03:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:10:21.044689
• Title: Text-guided Synthetic Geometric Augmentation for Zero-shot 3D Understanding
• Title（参考訳）: ゼロショット3次元理解のためのテキスト誘導合成幾何学的拡張
• Authors: Kohei Torimi, Ryosuke Yamada, Daichi Otsuka, Kensho Hara, Yuki M. Asano, Hirokatsu Kataoka, Yoshimitsu Aoki,
• Abstract要約: Textguided Geometric Augmentation (TeGA)は、ゼロショット3D分類においてSoTAを実現する言語イメージ3D事前訓練用に調整されている。 我々は,TeGAが3Dデータギャップを効果的に橋渡しし,実際の訓練データに限りなく頑健なゼロショット3D分類を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 27.755532663325244
• License:
• Abstract: Zero-shot recognition models require extensive training data for generalization. However, in zero-shot 3D classification, collecting 3D data and captions is costly and laborintensive, posing a significant barrier compared to 2D vision. Recent advances in generative models have achieved unprecedented realism in synthetic data production, and recent research shows the potential for using generated data as training data. Here, naturally raising the question: Can synthetic 3D data generated by generative models be used as expanding limited 3D datasets? In response, we present a synthetic 3D dataset expansion method, Textguided Geometric Augmentation (TeGA). TeGA is tailored for language-image-3D pretraining, which achieves SoTA in zero-shot 3D classification, and uses a generative textto-3D model to enhance and extend limited 3D datasets. Specifically, we automatically generate text-guided synthetic 3D data and introduce a consistency filtering strategy to discard noisy samples where semantics and geometric shapes do not match with text. In the experiment to double the original dataset size using TeGA, our approach demonstrates improvements over the baselines, achieving zeroshot performance gains of 3.0% on Objaverse-LVIS, 4.6% on ScanObjectNN, and 8.7% on ModelNet40. These results demonstrate that TeGA effectively bridges the 3D data gap, enabling robust zero-shot 3D classification even with limited real training data and paving the way for zero-shot 3D vision application.
• Abstract（参考訳）: ゼロショット認識モデルは、一般化のために広範なトレーニングデータを必要とする。 しかし、ゼロショットの3D分類では、3Dデータとキャプションの収集は高価で労働集約的であり、2D視覚と比較して大きな障壁となる。 生成モデルの最近の進歩は、合成データ生産において前例のないリアリズムを達成しており、最近の研究では、生成されたデータをトレーニングデータとして使用する可能性を示している。 生成モデルによって生成された合成3Dデータは、限られた3Dデータセットとして使用できるのか? そこで本研究では, 合成3次元データセット拡張手法であるTextguided Geometric Augmentation (TeGA)を提案する。 TeGAは、ゼロショット3D分類においてSoTAを実現する言語イメージ3D事前訓練用に調整されており、限られた3Dデータセットを拡張および拡張するために生成テキスト3Dモデルを使用している。 具体的には、テキスト誘導合成3Dデータを自動的に生成し、意味や幾何学的形状がテキストと一致しないノイズの多いサンプルを破棄する一貫性フィルタリング戦略を導入する。 TeGAを用いてデータセットサイズを2倍にする実験では,ベースラインの改善を実証し,Objaverse-LVISで3.0%,ScanObjectNNで4.6%,ModelNet40で8.7%のゼロショット性能向上を達成した。 これらの結果は,TeGAが3Dデータギャップを効果的に橋渡しし,実際の訓練データに制限がある場合でも,堅牢なゼロショット3D分類を可能にし,ゼロショット3Dビジョンアプリケーションへの道を開くことを実証している。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D priors [16.93758384693786]
  双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。 我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
  論文  参考訳（メタデータ） (2023-12-07T10:00:04Z)
• TPA3D: Triplane Attention for Fast Text-to-3D Generation [28.33270078863519]
  テキスト誘導型3次元生成(TPA3D)のためのトライプレーンアテンションを提案する。 TPA3Dは、高速テキストから3D生成のための、エンドツーエンドのトレーニング可能なGANベースのディープラーニングモデルである。 TPA3Dは, きめ細かい記述と整合した高品質な3次元テクスチャ形状を生成する。
  論文  参考訳（メタデータ） (2023-12-05T10:39:37Z)
• UniG3D: A Unified 3D Object Generation Dataset [75.49544172927749]
  UniG3Dは、ShapeNetデータセット上に普遍的なデータ変換パイプラインを用いて構築された、統一された3Dオブジェクト生成データセットである。 このパイプラインは、各生の3Dモデルを包括的なマルチモーダルデータ表現に変換する。 データセットのデータソースの選択は、そのスケールと品質に基づいています。
  論文  参考訳（メタデータ） (2023-06-19T07:03:45Z)
• Lift3D: Synthesize 3D Training Data by Lifting 2D GAN to 3D Generative Radiance Field [16.15190186574068]
  データ生成の目的を達成するために,逆2D-to-3D生成フレームワークであるLift3Dを提案する。 2D GANを3DオブジェクトNeRFに持ち上げることで、Lift3Dは生成されたオブジェクトの明示的な3D情報を提供する。 我々は、自律運転データセットを増強することで、我々のフレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-07T07:43:02Z)
• DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
  テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。 本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。 提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-29T17:50:40Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。