論文の概要: MixCon3D: Synergizing Multi-View and Cross-Modal Contrastive Learning
for Enhancing 3D Representation
- arxiv url: http://arxiv.org/abs/2311.01734v1
- Date: Fri, 3 Nov 2023 06:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 14:58:03.759551
- Title: MixCon3D: Synergizing Multi-View and Cross-Modal Contrastive Learning
for Enhancing 3D Representation
- Title(参考訳): MixCon3D:3D表現の強化のためのマルチビューとクロスモーダルコントラスト学習
- Authors: Yipeng Gao, Zeyu Wang, Wei-Shi Zheng, Cihang Xie, Yuyin Zhou
- Abstract要約: コントラスト学習を強化するために,2次元画像と3次元点雲の相補的な情報を組み合わせたMixCon3Dを導入する。
また、3Dコントラッシブラーニングパラダイムのための様々なトレーニングレシピの徹底的な研究の先駆者となった。
- 参考スコア(独自算出の注目度): 55.393631071201085
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Contrastive learning has emerged as a promising paradigm for 3D open-world
understanding, jointly with text, image, and point cloud. In this paper, we
introduce MixCon3D, which combines the complementary information between 2D
images and 3D point clouds to enhance contrastive learning. With the further
integration of multi-view 2D images, MixCon3D enhances the traditional
tri-modal representation by offering a more accurate and comprehensive
depiction of real-world 3D objects and bolstering text alignment. Additionally,
we pioneer the first thorough investigation of various training recipes for the
3D contrastive learning paradigm, building a solid baseline with improved
performance. Extensive experiments conducted on three representative benchmarks
reveal that our method renders significant improvement over the baseline,
surpassing the previous state-of-the-art performance on the challenging
1,156-category Objaverse-LVIS dataset by 5.7%. We further showcase the
effectiveness of our approach in more applications, including text-to-3D
retrieval and point cloud captioning. The code is available at
https://github.com/UCSC-VLAA/MixCon3D.
- Abstract(参考訳): コントラスト学習は、テキスト、イメージ、ポイントクラウドと共同で、3Dオープンワールド理解のための有望なパラダイムとして登場した。
本稿では,2次元画像と3次元点雲の相補的な情報を組み合わせて,コントラスト学習を強化するMixCon3Dを提案する。
マルチビュー2D画像の統合により、MixCon3Dは、現実世界の3Dオブジェクトをより正確かつ包括的に描写し、テキストアライメントを強化することで、従来のトリモーダル表現を強化する。
さらに、3次元コントラスト学習パラダイムのための様々なトレーニングレシピについて、最初の徹底的な調査を行い、パフォーマンスを向上した確固としたベースラインを構築した。
3つの代表的なベンチマークで行った大規模な実験の結果,提案手法は従来の1,156カテゴリのObjaverse-LVISデータセットを5.7%上回った。
さらに,テキストから3dへの検索やポイントクラウドキャプションなど,より多くのアプリケーションにおいて,このアプローチの有効性を示す。
コードはhttps://github.com/UCSC-VLAA/MixCon3Dで公開されている。
関連論文リスト
- TAMM: TriAdapter Multi-Modal Learning for 3D Shape Understanding [31.59552321961767]
TriAdapter Multi-Modal Learning (TAMM)は3つの相乗的アダプタに基づく新しい2段階学習手法である。
TAMMは、広範囲の3Dエンコーダアーキテクチャ、事前トレーニングデータセット、下流タスクの3D表現を一貫して強化する。
論文 参考訳(メタデータ) (2024-02-28T17:18:38Z) - ShapeLLM: Universal 3D Object Understanding for Embodied Interaction [42.27389739545129]
本稿では,3次元マルチモーダル大言語モデル(LLM)を具体化して構築したShapeLLMについて述べる。
ShapeLLMはReConをReCon++に拡張することで改良された3Dエンコーダの上に構築されている。
ShapeLLMは、構築した命令追従データに基づいて訓練され、新しい評価ベンチマークである3D MM-Vetでテストされた。
論文 参考訳(メタデータ) (2024-02-27T18:57:12Z) - JM3D & JM3D-LLM: Elevating 3D Understanding with Joint Multi-modal Cues [68.76032126906743]
私たちは、ポイントクラウド、テキスト、イメージを統合する包括的なアプローチであるJM3Dを紹介します。
SMO(Structured Multimodal Organizer)は、複数のビューと階層的なテキストによる視覚言語表現の強化である。
我々の高度なモデルであるJM3D-LLMは、効率的な微調整により、大規模言語モデルと3D表現を結合する。
論文 参考訳(メタデータ) (2023-10-14T06:13:20Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation [53.986321389412154]
テキストから3Dへの手法は、強力な事前学習拡散モデルを利用してNeRFを最適化する。
ほとんどの研究は、主観的なケーススタディとユーザ実験で結果を評価している。
最初の総合的なテキスト・ツー・3DベンチマークであるT$3$Benchを紹介する。
論文 参考訳(メタデータ) (2023-10-04T17:12:18Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Beyond First Impressions: Integrating Joint Multi-modal Cues for
Comprehensive 3D Representation [72.94143731623117]
既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。
十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。
我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
論文 参考訳(メタデータ) (2023-08-06T01:11:40Z) - Mask3D: Pre-training 2D Vision Transformers by Learning Masked 3D Priors [29.419069066603438]
本研究では,既存の大規模RGB-Dデータを活用するMask3Dを提案する。
我々は,Mask3Dが強力な2D ViTバックボーンに3D先行情報を埋め込むのに特に有効であることを実証した。
論文 参考訳(メタデータ) (2023-02-28T16:45:21Z) - Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。
第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。
本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
論文 参考訳(メタデータ) (2022-03-17T14:50:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。