論文の概要: 3D-MRL: Nested Multimodal 3D Representations via Matryoshka Representation Learning

• arxiv url: http://arxiv.org/abs/2608.29285v1
• Date: Sat, 29 Aug 2026 14:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.914243
• Title: 3D-MRL: Nested Multimodal 3D Representations via Matryoshka Representation Learning
• Title（参考訳）: 3D-MRL:Matryoshka表現学習によるNested Multimodal 3D表現
• Abstract要約: 本稿では,Matryoshka Representation Learningに基づくマルチモーダル3D事前学習フレームワークである、3D Matryoshka Representation Learning (3D-MRL)を提案する。 3D-MRLは、点雲を凍ったCLIPイメージとテキスト埋め込みに整列させ、複数の埋め込み次元をまたいだコントラスト的な監督を適用して、ネストされた3D表現を学習する。
• 参考スコア（独自算出の注目度）: 0.5249805590164902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models align point clouds with image and text embeddings, enabling zero-shot recognition, retrieval, and open-vocabulary understanding of 3D shapes. Existing multimodal 3D pre-training methods produce fixed-dimensional embeddings, requiring separate models for different computational budgets. We propose 3D Matryoshka Representation Learning (3D-MRL), a multimodal 3D pre-training framework based on Matryoshka Representation Learning. 3D-MRL learns nested 3D representations by aligning point clouds with frozen CLIP image and text embeddings while applying contrastive supervision across multiple embedding dimensions. The Matryoshka objective is applied only to the 3D encoder, allowing a single model to produce representations at different dimensionalities without retraining. Experiments on the Objaverse-LVIS, ModelNet40, and ScanNet datasets show that 3D-MRL achieves competitive performance on zero-shot and few-shot 3D recognition tasks. In addition, the learned representations support retrieval across different embedding dimensions within a single model. On Objaverse-LVIS, 3D-MRL improves Top-1 accuracy from 46.8% to 50.9%. Retrieval experiments further show that different embedding dimensions yield varying levels of semantic and geometric specificity.
• Abstract（参考訳）: ビジョンランゲージモデル(Vision-Language Model)は、ポイントクラウドと画像とテキストの埋め込みを一致させ、ゼロショット認識、検索、三次元形状のオープンボキャブラリ理解を可能にする。 既存のマルチモーダル3D事前学習法は、異なる計算予算のために別々のモデルを必要とする固定次元の埋め込みを生成する。 本稿では,Matryoshka Representation Learningに基づくマルチモーダル3D事前学習フレームワークである、3D Matryoshka Representation Learning (3D-MRL)を提案する。 3D-MRLは、点雲を凍ったCLIPイメージとテキスト埋め込みに整列させ、複数の埋め込み次元をまたいだコントラスト的な監督を適用して、ネストされた3D表現を学習する。 Matryoshkaの目的は3Dエンコーダにのみ適用され、単一のモデルが再学習することなく異なる次元の表現を生成できる。 Objaverse-LVIS、ModelNet40、ScanNetデータセットの実験は、3D-MRLがゼロショットおよび少数ショットの3D認識タスクで競合性能を達成することを示している。 さらに、学習した表現は単一のモデル内に異なる埋め込み次元をまたいだ検索をサポートする。 Objaverse-LVISでは、3D-MRLはTop-1の精度を46.8%から50.9%に改善する。 検索実験はさらに、異なる埋め込み次元が意味的および幾何学的特異性の様々なレベルをもたらすことを示した。

関連論文リスト

• Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment [50.02189698630855]
  本稿では,視覚モダリティのためのコンパクトかつ包括的な3Dプロキシ表現を備えたProxy3D法を提案する。 提案手法は,3次元視覚的質問応答,視覚的接地,空間知能のベンチマークにおいて,競合や最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-08T17:50:47Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Vid-LLM: A Compact Video-based 3D Multimodal LLM with Reconstruction-Reasoning Synergy [4.1703677379815565]
  外部の3Dデータを必要としないビデオ入力を直接処理するビデオベースの3D-MLLMであるVid-LLMを提案する。 本手法では, 偏見の知覚性能を向上させるために, 幾何先行法を直接的に用いた。 各種ベンチマーク実験により,3次元質問応答,3次元キャプション,3次元視覚的接地作業において,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2025-09-29T07:34:18Z)
• TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [52.79100775328595]
  3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。 既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。 本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
  論文  参考訳（メタデータ） (2025-07-20T10:28:06Z)
• Matrix3D: Large Photogrammetry Model All-in-One [31.034664725331073]
  Matrix3Dは、いくつかのフォトグラム化サブタスクを実行する統一モデルである。 これには、ポーズ推定、深さ予測、ビュー合成が含まれる。 マルチラウンドインタラクションによるきめ細かい制御を提供する。
  論文  参考訳（メタデータ） (2025-02-11T16:36:55Z)
• TAMM: TriAdapter Multi-Modal Learning for 3D Shape Understanding [28.112402580426174]
  TriAdapter Multi-Modal Learning (TAMM)は3つの相乗的アダプタに基づく新しい2段階学習手法である。 TAMMは、広範囲の3Dエンコーダアーキテクチャ、事前トレーニングデータセット、下流タスクの3D表現を一貫して強化する。
  論文  参考訳（メタデータ） (2024-02-28T17:18:38Z)
• Sculpting Holistic 3D Representation in Contrastive Language-Image-3D Pre-training [51.632418297156605]
  コントラスト型言語画像3D事前学習において, ホロリスティックな3D表現を彫刻するMixCon3Dを提案する。 相補的な視点から3次元オブジェクトレベルの表現を開発する。 次に、MixCon3Dは言語3Dのコントラスト学習を行い、現実世界の3Dオブジェクトを包括的に表現し、テキストアライメントを強化する。
  論文  参考訳（メタデータ） (2023-11-03T06:05:36Z)
• Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation [72.94143731623117]
  既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。 十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。 我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
  論文  参考訳（メタデータ） (2023-08-06T01:11:40Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。