論文の概要: CL3DOR: Contrastive Learning for 3D Large Multimodal Models via Odds Ratio on High-Resolution Point Clouds

• arxiv url: http://arxiv.org/abs/2501.03879v1
• Date: Tue, 07 Jan 2025 15:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:32.911260
• Title: CL3DOR: Contrastive Learning for 3D Large Multimodal Models via Odds Ratio on High-Resolution Point Clouds
• Title（参考訳）: CL3DOR:高解点雲におけるオッズ比による3次元大規模マルチモーダルモデルのコントラスト学習
• Authors: Keonwoo Kim, Yeongjae Cho, Taebaek Hwang, Minsoo Jo, Sangdo Han,
• Abstract要約: 高解点雲上でのOdds比による3次元大規模マルチモーダルモデルのコントラスト学習を提案する。 CL3DORは3Dシーン理解と推論のベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 1.9643285694999641
• License:
• Abstract: Recent research has demonstrated that Large Language Models (LLMs) are not limited to text-only tasks but can also function as multimodal models across various modalities, including audio, images, and videos. In particular, research on 3D Large Multimodal Models (3D LMMs) is making notable strides, driven by the potential of processing higher-dimensional data like point clouds. However, upon closer examination, we find that the visual and textual content within each sample of existing training datasets lacks both high informational granularity and clarity, which serve as a bottleneck for precise cross-modal understanding. To address these issues, we propose CL3DOR, Contrastive Learning for 3D large multimodal models via Odds ratio on high-Resolution point clouds, designed to ensure greater specificity and clarity in both visual and textual content. Specifically, we increase the density of point clouds per object and construct informative hard negative responses in the training dataset to penalize unwanted responses. To leverage hard negative responses, we incorporate the odds ratio as an auxiliary term for contrastive learning into the conventional language modeling loss. CL3DOR achieves state-of-the-art performance in 3D scene understanding and reasoning benchmarks. Additionally, we demonstrate the effectiveness of CL3DOR's key components through extensive experiments.
• Abstract（参考訳）: 近年の研究では、Large Language Models (LLMs) はテキストのみのタスクに限らず、音声、画像、ビデオなど様々なモードにわたるマルチモーダルモデルとして機能することが示されている。 特に、3次元大規模マルチモーダルモデル(3D LMM)の研究は、点雲のような高次元データを処理する可能性によって、顕著な進歩を遂げている。 しかし、より詳しく調べると、既存のトレーニングデータセットの各サンプルの視覚的内容とテキスト的内容は、高い情報的粒度と明快さの両方を欠いていることが分かり、これは正確なクロスモーダル理解のボトルネックとなる。 これらの問題に対処するため,高解像度のクラウド上でのOdds比を用いた3次元大規模マルチモーダルモデルのCL3DOR(Contrastive Learning)を提案する。 具体的には,物体ごとの点雲密度を増大させ,不必要な応答をペナルティ化するためにトレーニングデータセットに情報的強弱応答を構築する。 強弱負の応答を利用するために、従来の言語モデリング損失に比較学習の補助語としてオッズ比を組み込む。 CL3DORは3Dシーン理解と推論のベンチマークで最先端のパフォーマンスを達成する。 さらに, CL3DORのキーコンポーネントの有効性を実験的に検証した。

関連論文リスト

• Multi-modal Relation Distillation for Unified 3D Representation Learning [30.942281325891226]
  マルチモーダルリレーショナル蒸留(Multi-modal Relation Distillation、MRD)は、3次元バックボーンに再生可能な大型ビジョンランゲージモデル(VLM)を蒸留するために設計された3次元事前学習フレームワークである。 MRDは、各モダリティ内の関係と異なるモダリティ間の相互関係をキャプチャし、より差別的な3D形状表現を作り出すことを目的としている。
  論文  参考訳（メタデータ） (2024-07-19T03:43:48Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training [44.790636524264]
  ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。 シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。 教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:57Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)
• Multimodal Semi-Supervised Learning for 3D Objects [19.409295848915388]
  本稿では,3次元の分類処理と検索処理の両方において,異なる3次元データのモデルのコヒーレンスを用いてデータ効率を向上させる方法について検討する。 本稿では、インスタンスレベルの一貫性制約を導入し、新しいマルチモーダル・コントラッシブ・プロトタイプ(M2CP)の損失を減らし、新しいマルチモーダル・セミ教師付き学習フレームワークを提案する。 提案するフレームワークは,モデルNet10およびモデルNet40データセットにおいて,分類タスクと検索タスクの両方において,最先端のすべての処理性能を大幅に上回っている。
  論文  参考訳（メタデータ） (2021-10-22T05:33:16Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。