論文の概要: Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding
- arxiv url: http://arxiv.org/abs/2608.02980v1
- Date: Tue, 04 Aug 2026 00:32:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.981563
- Title: Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding
- Title（参考訳）: Qwen-3D:空間理解のための一般3次元視覚言語モデル
- Abstract要約: 3次元幾何学は、ビジュアルストリームの自然な圧縮メカニズムを提供する。
Qwen-3Dは、多視点幾何学的手がかりを用いてQwenバックボーン内の視覚情報を圧縮する幾何学的LMMである。
Qwen-3Dは既存の3D LMMを超え、いくつかの大規模プロプライエタリな2Dモデルを上回っている。
- 参考スコア（独自算出の注目度）: 24.745098191502233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Multimodal Models (LMMs) have achieved remarkable success on images and short videos, yet scaling them to long videos remains challenging due to frame-centric tokenization and limited context windows. 3D geometry provides a natural compression mechanism for visual streams: depth and camera pose enable observations from multiple views and time steps to be fused into a persistent, world-aligned representation. While recent 3D LMMs leverage geometry-aware representations to improve spatial reasoning, they continue to lag behind specialist 3D perception systems on grounding and segmentation tasks. We argue that a key limitation is geometry-aware decoding: existing methods communicate 3D predictions through language tokens, proposal selection, or lightweight grounding queries, creating a bottleneck between language reasoning and dense geometric prediction. Building on these insights, we introduce Qwen-3D, a geometry-aware LMM that compresses visual information within the Qwen backbone using multi-view geometric cues, enabling efficient long-horizon visual reasoning over static scenes. Qwen-3D augments visual tokens with 3D Rotary Positional Embeddings, allowing attention to operate directly in 3D scene space rather than across independent image frames and thereby facilitating scalable cross-view and temporal reasoning. To bridge language and geometry, Qwen-3D incorporates a query-based segmentation decoder that grounds language directly in the underlying 3D scene representation, unifying referential grounding, instance segmentation, and visual question answering across both images and videos. Across a diverse set of benchmarks, Qwen-3D surpasses existing 3D LMMs and outperforms several large proprietary 2D models. Notably, Qwen-3D achieves these improvements while maintaining strong performance on standard 2D vision-language benchmarks by jointly training on 2D and 3D data.
- Abstract（参考訳）: 大規模なマルチモーダルモデル(LMM)は画像やショートビデオで顕著な成功を収めているが、フレーム中心のトークン化と限られたコンテキストウィンドウのため、長いビデオにスケールすることは依然として困難である。
奥行きとカメラのポーズは、複数のビューと時間ステップからの観察を、永続的で世界に沿った表現に融合させることを可能にします。
近年の3次元LMMは空間推論を改善するために幾何学的認識表現を利用するが、接地やセグメンテーションタスクにおいて専門的な3次元認識システムに遅れをとどめ続けている。
既存の手法は、言語トークン、提案選択、あるいは軽量な接地クエリを通じて3次元の予測を伝達し、言語推論と密接な幾何学的予測との間にボトルネックを生じさせる。
これらの知見に基づいて,多視点幾何学的手がかりを用いてQwenバックボーン内の視覚情報を圧縮する幾何学的LMMであるQwen-3Dを導入する。
Qwen-3Dは、3Dロータリー位置埋め込みで視覚トークンを強化し、独立した画像フレームではなく、直接3Dシーン空間で操作できるようにし、スケーラブルなクロスビューと時間的推論を容易にする。
言語と幾何学をブリッジするために、Qwen-3Dにはクエリベースのセグメンテーションデコーダが組み込まれている。
様々なベンチマークで、Qwen-3Dは既存の3D LMMを超え、いくつかの大きなプロプライエタリな2Dモデルを上回っている。
特に、Qwen-3Dは2Dと3Dデータを共同でトレーニングすることで、標準的な2Dビジョン言語ベンチマークの性能を維持しながら、これらの改善を実現している。
関連論文リスト
- 3D-Aware VLMs with Implicit and Explicit Geometries [72.8641426724502]
視覚言語モデル(VLM)の3次元空間認識を強化する統合フレームワークであるVLM-IE3Dを提案する。
我々のVLM-IE3Dでは、入力ビデオから高レベルの幾何学的先行をキャプチャするImplicit Geometry Tokens (IGT)と、再構成された3D属性から詳細な幾何学的構造をエンコードする補完的なExplicit Geometry Tokens (EGT)を導入している。
VLM-IE3Dは,3次元映像検出,3次元視覚的グラウンド化,高密度キャプション化,空間的推論など,様々な3次元タスクにおいて一貫した性能を実現している。
論文 参考訳（メタデータ） (2026-07-23T17:59:59Z) - Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding [31.76161781831759]
提案するOcc-VLMは3次元シーン理解のための新しいフレームワークで,提案するRGB画像に対して純粋に動作し,単一の2次元視覚エンコーダを用いる。
Occ-VLMは、正確な幾何学的知覚と堅牢な視覚言語推論の両方を達成する。
論文 参考訳（メタデータ） (2026-06-18T04:24:28Z) - Geometry-Guided 3D Visual Token Pruning for Video-Language Models [35.786221225043455]
我々はGeo3DPrunerを提案する。
Geo3DPrunerは、まず、幾何学的に認識されたグローバルな注意を通して、クロスフレームの関連性をモデル化し、2段階のプルーニングプロセスを実行する。
複数の3Dシーン理解ベンチマークの実験では、Geo3DPrunerは元の性能の90%以上を維持し、ビジュアルトークンの90%をプルーニングし、既存のテキスト誘導型および視覚誘導型プルーニング法を著しく上回っている。
論文 参考訳（メタデータ） (2026-04-20T13:33:50Z) - Cog3DMap: Multi-View Vision-Language Reasoning with 3D Cognitive Maps [77.63233146945718]
マルチビュー画像から明示的な3Dメモリを連続的に構築するフレームワークであるCog3DMapを紹介する。
本フレームワークは空間的に構造化された3次元マップ上での直接推論を可能にし,様々な空間推論ベンチマーク上で最先端の性能を実現する。
論文 参考訳（メタデータ） (2026-03-24T10:05:32Z) - LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight [105.9472902251177]
次世代の予測問題として3D検出を行うVLMネイティブレシピを提案する。
このモデルでは, 49.89 AP_3Dの精度を+15.51倍に向上した。
論文 参考訳（メタデータ） (2025-11-25T18:59:45Z) - 3D Aware Region Prompted Vision Language Model [99.4106711584584]
SR-3Dは、共有された視覚トークン空間を介して、シングルビュー2D画像とマルチビュー3Dデータを接続する。
SR-3Dはフレキシブルな領域プロンプトをサポートしており、バウンディングボックス、任意のフレーム上のセグメンテーションマスク、あるいは直接3Dでアノテートできる。
論文 参考訳（メタデータ） (2025-09-16T17:59:06Z) - Does Your 3D Encoder Really Work? When Pretrain-SFT from 2D VLMs Meets 3D VLMs [72.11701578308804]
本稿では,最近の3次元視覚言語モデルを3次元オブジェクト中心,2次元イメージベース,および3次元シーン中心のアプローチに分類する。
3Dシーン中心のVLMと2Dシーン中心のVLMのアーキテクチャ的類似性にもかかわらず、最新の3Dオブジェクト中心と2Dイメージベースアプローチと比較して比較的低い性能を示した。
本研究は,これらのモデルが多モードアライメント機能を有する一方で,言語的手がかりに過度に頼り,頻繁な回答に過度に適合する傾向があることを示唆している。
論文 参考訳（メタデータ） (2025-06-05T17:56:12Z) - NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation [14.046423852723615]
本稿では,3次元ガウシアン・スプレイティングに基づくハードビジュアル・プロンプト手法を導入し,対象物に関する多様な視点を創出する。
提案手法は現実的な3次元視点をシミュレートし,既存のハード・ビジュアル・プロンプトを効果的に増強する。
このトレーニングフリー戦略は、事前のハード・ビジュアル・プロンプトとシームレスに統合され、オブジェクト記述的特徴が強化される。
論文 参考訳（メタデータ） (2025-04-20T14:39:27Z) - 3DSRBench: A Comprehensive 3D Spatial Reasoning Benchmark [25.311698492216127]
3次元空間推論は、3次元空間内の物体の位置、向き、空間的関係を分析し、解釈する能力である。
大規模マルチモーダルモデル(LMM)は、幅広い画像および映像理解タスクにおいて顕著な進歩を遂げている。
2,772対の視覚的質問応答対を持つ3DSRBenchを用いた3次元空間推論ベンチマークを作成した。
論文 参考訳（メタデータ） (2024-12-10T18:55:23Z) - Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。
本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。
これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
論文 参考訳（メタデータ） (2021-06-14T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。