論文の概要: JM3D & JM3D-LLM: Elevating 3D Representation with Joint Multi-modal Cues

• arxiv url: http://arxiv.org/abs/2310.09503v2
• Date: Fri, 20 Oct 2023 07:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 02:28:48.835174
• Title: JM3D & JM3D-LLM: Elevating 3D Representation with Joint Multi-modal Cues
• Title（参考訳）: JM3DとJM3D-LLM:ジョイントマルチモーダルキューによる3次元表現の向上
• Authors: Jiayi Ji, Haowei Wang, Changli Wu, Yiwei Ma, Xiaoshuai Sun, Rongrong Ji
• Abstract要約: 私たちは、ポイントクラウド、テキスト、イメージを統合する包括的なアプローチであるJM3Dを紹介します。 SMO(Structured Multimodal Organizer)は、複数のビューと階層的なテキストによる視覚言語表現の強化である。 我々の高度なモデルであるJM3D-LLMは、効率的な微調整により、大規模言語モデルと3D表現を結合する。
• 参考スコア（独自算出の注目度）: 68.76032126906743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rising importance of 3D representation learning, pivotal in computer vision, autonomous driving, and robotics, is evident. However, a prevailing trend, which straightforwardly resorted to transferring 2D alignment strategies to the 3D domain, encounters three distinct challenges: (1) Information Degradation: This arises from the alignment of 3D data with mere single-view 2D images and generic texts, neglecting the need for multi-view images and detailed subcategory texts. (2) Insufficient Synergy: These strategies align 3D representations to image and text features individually, hampering the overall optimization for 3D models. (3) Underutilization: The fine-grained information inherent in the learned representations is often not fully exploited, indicating a potential loss in detail. To address these issues, we introduce JM3D, a comprehensive approach integrating point cloud, text, and image. Key contributions include the Structured Multimodal Organizer (SMO), enriching vision-language representation with multiple views and hierarchical text, and the Joint Multi-modal Alignment (JMA), combining language understanding with visual representation. Our advanced model, JM3D-LLM, marries 3D representation with large language models via efficient fine-tuning. Evaluations on ModelNet40 and ScanObjectNN establish JM3D's superiority. The superior performance of JM3D-LLM further underscores the effectiveness of our representation transfer approach. Our code and models are available at https://github.com/Mr-Neko/JM3D.
• Abstract（参考訳）: コンピュータビジョン、自動運転、ロボット工学において重要な3d表現学習の重要性が高まっていることは明らかだ。 しかし,2次元のアライメント戦略を3次元領域へ直接移行する傾向は,(1)情報劣化:これは単に1次元の2次元画像と一般的なテキストとのアライメントから生じるものであり,マルチビュー画像や詳細なサブカテゴリテキストの必要性を無視している。 2) 不十分なシナジー: これらの戦略は3次元モデル全体の最適化を妨げ、画像とテキストの特徴を個別に3次元表現に整合させる。 3) 活用不足: 学習表現に内在する細かな情報は、しばしば十分に活用されず、詳細が失われる可能性がある。 これらの問題に対処するために、ポイントクラウド、テキスト、イメージを統合する包括的なアプローチであるJM3Dを紹介します。 SMO(Structured Multimodal Organizer)、複数のビューと階層的なテキストによる視覚言語表現の充実、および言語理解と視覚表現を組み合わせたJMA(Joint Multi-modal Alignment)などである。 我々の高度なモデルであるJM3D-LLMは、効率的な微調整により、大規模言語モデルと3D表現を結合する。 ModelNet40とScanObjectNNの評価はJM3Dの優位性を確立する。 JM3D-LLMの優れた性能は、表現伝達手法の有効性をさらに強調する。 私たちのコードとモデルはhttps://github.com/mr-neko/jm3dで利用可能です。

関連論文リスト

• VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding [47.58359136198136]
  VisionGPT-3Dはマルチモーダル基盤モデルの強みを基盤として多目的なマルチモーダルフレームワークを提供する。 様々なSOTAビジョンモデルをシームレスに統合し、SOTAビジョンモデルの選択に自動化をもたらす。 2次元深度マップ解析に対応する適切な3次元メッシュ生成アルゴリズムを特定し、多様なマルチモーダル入力に基づいて最適な結果を生成する。
  論文  参考訳（メタデータ） (2024-03-14T16:13:00Z)
• TAMM: TriAdapter Multi-Modal Learning for 3D Shape Understanding [28.112402580426174]
  TriAdapter Multi-Modal Learning (TAMM)は3つの相乗的アダプタに基づく新しい2段階学習手法である。 TAMMは、広範囲の3Dエンコーダアーキテクチャ、事前トレーニングデータセット、下流タスクの3D表現を一貫して強化する。
  論文  参考訳（メタデータ） (2024-02-28T17:18:38Z)
• 3DMIT: 3D Multi-modal Instruction Tuning for Scene Understanding [12.823274886850697]
  我々は3DMITという新しい高速なプロンプトチューニングパラダイムを導入する。 このパラダイムは、3Dシーンと言語間のアライメントステージを排除し、命令プロンプトを3Dモダリティ情報で拡張する。 本研究では,3次元シーン領域における多様なタスクにまたがる手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-01-06T12:20:18Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• Sculpting Holistic 3D Representation in Contrastive Language-Image-3D Pre-training [51.632418297156605]
  コントラスト型言語画像3D事前学習において, ホロリスティックな3D表現を彫刻するMixCon3Dを提案する。 相補的な視点から3次元オブジェクトレベルの表現を開発する。 次に、MixCon3Dは言語3Dのコントラスト学習を行い、現実世界の3Dオブジェクトを包括的に表現し、テキストアライメントを強化する。
  論文  参考訳（メタデータ） (2023-11-03T06:05:36Z)
• Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation [72.94143731623117]
  既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。 十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。 我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
  論文  参考訳（メタデータ） (2023-08-06T01:11:40Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。