論文の概要: MixCon3D: Synergizing Multi-View and Cross-Modal Contrastive Learning
for Enhancing 3D Representation
- arxiv url: http://arxiv.org/abs/2311.01734v1
- Date: Fri, 3 Nov 2023 06:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 14:58:03.759551
- Title: MixCon3D: Synergizing Multi-View and Cross-Modal Contrastive Learning
for Enhancing 3D Representation
- Title（参考訳）: MixCon3D:3D表現の強化のためのマルチビューとクロスモーダルコントラスト学習
- Authors: Yipeng Gao, Zeyu Wang, Wei-Shi Zheng, Cihang Xie, Yuyin Zhou
- Abstract要約: コントラスト学習を強化するために,2次元画像と3次元点雲の相補的な情報を組み合わせたMixCon3Dを導入する。
また、3Dコントラッシブラーニングパラダイムのための様々なトレーニングレシピの徹底的な研究の先駆者となった。
- 参考スコア（独自算出の注目度）: 55.393631071201085
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Contrastive learning has emerged as a promising paradigm for 3D open-world
understanding, jointly with text, image, and point cloud. In this paper, we
introduce MixCon3D, which combines the complementary information between 2D
images and 3D point clouds to enhance contrastive learning. With the further
integration of multi-view 2D images, MixCon3D enhances the traditional
tri-modal representation by offering a more accurate and comprehensive
depiction of real-world 3D objects and bolstering text alignment. Additionally,
we pioneer the first thorough investigation of various training recipes for the
3D contrastive learning paradigm, building a solid baseline with improved
performance. Extensive experiments conducted on three representative benchmarks
reveal that our method renders significant improvement over the baseline,
surpassing the previous state-of-the-art performance on the challenging
1,156-category Objaverse-LVIS dataset by 5.7%. We further showcase the
effectiveness of our approach in more applications, including text-to-3D
retrieval and point cloud captioning. The code is available at
https://github.com/UCSC-VLAA/MixCon3D.
- Abstract（参考訳）: コントラスト学習は、テキスト、イメージ、ポイントクラウドと共同で、3Dオープンワールド理解のための有望なパラダイムとして登場した。
本稿では,2次元画像と3次元点雲の相補的な情報を組み合わせて,コントラスト学習を強化するMixCon3Dを提案する。
マルチビュー2D画像の統合により、MixCon3Dは、現実世界の3Dオブジェクトをより正確かつ包括的に描写し、テキストアライメントを強化することで、従来のトリモーダル表現を強化する。
さらに、3次元コントラスト学習パラダイムのための様々なトレーニングレシピについて、最初の徹底的な調査を行い、パフォーマンスを向上した確固としたベースラインを構築した。
3つの代表的なベンチマークで行った大規模な実験の結果,提案手法は従来の1,156カテゴリのObjaverse-LVISデータセットを5.7%上回った。
さらに,テキストから3dへの検索やポイントクラウドキャプションなど,より多くのアプリケーションにおいて,このアプローチの有効性を示す。
コードはhttps://github.com/UCSC-VLAA/MixCon3Dで公開されている。
関連論文リスト
- SeMv-3D: Towards Semantic and Mutil-view Consistency simultaneously for General Text-to-3D Generation with Triplane Priors [115.66850201977887]
汎用テキストから3d生成のための新しいフレームワークであるSeMv-3Dを提案する。
3次元の空間的特徴を持つ3次元平面先行学習を学習し、3次元の異なる視点間の整合性を維持する三次元平面先行学習器を提案する。
また,3次元空間特徴とテキスト・セマンティクスとの整合性を保持するセマンティック・アラインメント・ビュー・シンセサイザーを設計する。
論文 参考訳（メタデータ） (2024-10-10T07:02:06Z) - Weakly-Supervised 3D Visual Grounding based on Visual Linguistic Alignment [26.858034573776198]
視覚言語アライメントに基づく3次元視覚接地のための弱教師付きアプローチを提案する。
我々の3D-VLAは、テキストと2D画像のセマンティクスの整合性において、現在の大規模視覚言語モデルの優れた能力を利用する。
推論段階では、学習したテキスト3D対応は、2D画像がなくてもテキストクエリを3D対象オブジェクトにグラウンド化するのに役立ちます。
論文 参考訳（メタデータ） (2023-12-15T09:08:14Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳（メタデータ） (2023-10-12T17:59:57Z) - Multi-CLIP: Contrastive Vision-Language Pre-training for Question
Answering tasks in 3D Scenes [68.61199623705096]
一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。
そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
論文 参考訳（メタデータ） (2023-06-04T11:08:53Z) - CLIP-Guided Vision-Language Pre-training for Question Answering in 3D
Scenes [68.61199623705096]
我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。
符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。
我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
論文 参考訳（メタデータ） (2023-04-12T16:52:29Z) - CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World
Point Cloud Data [80.42480679542697]
現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。
具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
論文 参考訳（メタデータ） (2023-03-22T09:32:45Z) - Joint Representation Learning for Text and 3D Point Cloud [35.67281936143821]
言語誘導型3Dポイントクラウドモデルを構築するための新しいText4Pointフレームワークを提案する。
提案されたText4Pointは、事前トレーニングと微調整のパラダイムに従っている。
我々のモデルは、ポイントクラウドセマンティックセグメンテーション、インスタンスセグメンテーション、オブジェクト検出など、さまざまなダウンストリームタスクにおいて一貫した改善を示す。
論文 参考訳（メタデータ） (2023-01-18T15:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。