論文の概要: VLM3: Vision Language Models Are Native 3D Learners

• arxiv url: http://arxiv.org/abs/2605.30561v1
• Date: Thu, 28 May 2026 20:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.227054
• Title: VLM3: Vision Language Models Are Native 3D Learners
• Title（参考訳）: VLM3:ビジョン言語モデルはネイティブな3D学習者
• Abstract要約: ビジョン言語モデル(VLM)は、統一モデルによって様々なビジョンタスクをプロンプトすることで解決することができる。 3Dの理解は、複雑なタスク固有の設計を持つ専門家の視覚モデルに大きく依存していることが示される。 本稿では,標準VLMが多様な3Dタスクをマスターできる,最もシンプルな設計のスケーラブルなVLM3を提案する。
• 参考スコア（独自算出の注目度）: 36.094607074816814
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision Language Models (VLMs) enable a unified model to solve various vision tasks through prompting. They have shown promising performance in semantic understanding. However, 3D understanding still largely relies on expert vision models with complex task-specific designs. The key argument this work wants to make is that VLMs are native 3D learners. Our in-depth large scale study shows that 1) focal length unification, 2) text-based pixel reference and 3) data mixture and scaling, are all you need for effective 3D learning. Model architecture changes, large models, heavy data augmentations, and complex losses including the regression formulation, many of which form the foundation of expert vision models, are actually not necessary conditions. As a result, we propose VLM3, a scalable method with the simplest design that enables standard VLMs to master diverse 3D tasks. VLM3 not only advances the VLM depth estimation accuracy by a large margin (0.84 -> 0.9), but also enables diverse 3D tasks such as pixel correspondence, camera pose estimation and object-level 3D understanding, matching expert vision model accuracy while maintaining standard architectures and text-based training. We believe VLM3 opens up a new paradigm for simple and scalable 3D learning.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は、統一モデルによって様々なビジョンタスクをプロンプトすることで解決することができる。 彼らはセマンティックな理解において有望なパフォーマンスを示した。 しかし、3Dの理解は、複雑なタスク固有の設計を持つ専門家の視覚モデルに大きく依存している。 VLMはネイティブな3D学習者なのです。 我々の詳細な大規模研究は、 1)焦点距離の統一 2)テキストベースの画素参照と 3) データの混合とスケーリングは,効果的な3D学習に必要なものなのです。 モデルアーキテクチャの変更、大規模なモデル、重いデータ拡張、回帰定式化を含む複雑な損失、その多くはエキスパートビジョンモデルの基盤となっているが、実際には必要条件ではない。 そこで本研究では,VLM3を提案する。VLM3は,標準的なVLMが多様な3Dタスクをマスターできる,最もシンプルな設計のスケーラブルな手法である。 VLM3は、VLM深度推定の精度を大きなマージン(0.84 ->0.9)で向上させるだけでなく、画素対応、カメラポーズ推定、オブジェクトレベルの3D理解、エキスパートビジョンモデルの精度の整合、標準アーキテクチャやテキストベースのトレーニングなどの多様な3Dタスクを可能にする。 VLM3は、シンプルでスケーラブルな3D学習のための新しいパラダイムを開きます。

関連論文リスト

• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• DepthLM: Metric Depth From Vision Language Models [31.109287887180404]
  視覚言語モデル(VLM)はテキストインタラクションによって様々な視覚タスクに柔軟に対応できる。 アーキテクチャや損失変更なしに、専門家レベルの精度に達することができることを示す。 提案手法は,最も進んだVLMの精度を2倍以上上回る。
  論文  参考訳（メタデータ） (2025-09-29T19:12:13Z)
• Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
  本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。 提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-01T04:05:47Z)
• Does Your 3D Encoder Really Work? When Pretrain-SFT from 2D VLMs Meets 3D VLMs [72.11701578308804]
  本稿では,最近の3次元視覚言語モデルを3次元オブジェクト中心,2次元イメージベース,および3次元シーン中心のアプローチに分類する。 3Dシーン中心のVLMと2Dシーン中心のVLMのアーキテクチャ的類似性にもかかわらず、最新の3Dオブジェクト中心と2Dイメージベースアプローチと比較して比較的低い性能を示した。 本研究は,これらのモデルが多モードアライメント機能を有する一方で,言語的手がかりに過度に頼り,頻繁な回答に過度に適合する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T17:56:12Z)
• MLLMs Need 3D-Aware Representation Supervision for Scene Understanding [14.083262551714133]
  3DRSは、事前訓練された3D基礎モデルから監督を導入することでMLLM 3D表現学習を強化するフレームワークである。 本手法は3次元モデルから抽出したリッチな3次元知識とMLLMの視覚的特徴を一致させ,シーン理解を効果的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T17:58:24Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• Video-3D LLM: Learning Position-Aware Video Representation for 3D Scene Understanding [19.382210260928776]
  Video-3D LLMは3Dシーンをダイナミックビデオとして扱い、3D位置エンコーディングをこれらの表現に組み込む。 本モデルは,複数の3次元シーン理解ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-30T14:28:53Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• An Embodied Generalist Agent in 3D World [67.16935110789528]
  本稿では,3次元世界における知覚,接地,推論,計画,行動に優れた多モードジェネリストエージェントLEOを紹介する。 我々は,多種多様なオブジェクトレベルおよびシーンレベルのタスクからなる大規模データセットを収集する。 3Dキャプション,質問応答,具体的推論,ナビゲーション,操作など,多岐にわたるLEOの卓越した習熟度を実証した。
  論文  参考訳（メタデータ） (2023-11-18T01:21:38Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。