論文の概要: Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

• arxiv url: http://arxiv.org/abs/2603.18795v1
• Date: Thu, 19 Mar 2026 11:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.127746
• Title: Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation
• Title（参考訳）: Perceptio:空間的トークン生成による知覚強調視覚言語モデル
• Authors: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler,
• Abstract要約: 2次元および3次元空間推論能力を有する知覚増強型LVLMであるPerceptioを報告する。 強い単分子教師からVQVAE深度コードブックを蒸留し,高密度深度をコンパクトなシーケンスにトークン化する。 Perceptioは、ベンチマーク間で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 6.356373392276747
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は意味論的理解に優れるが、空間的解釈を生成せずに複雑な幾何学を暗黙的に推論する必要があるため、きめ細かな空間的接地に苦慮する。 本稿では,2次元および3次元空間推論能力を有するLVLMの知覚機能であるPerceptioを,自己回帰シーケンス内で直接生成される明示的なセマンティックセグメンテーショントークンと深度トークンによって実現した。 具体的には 一 強い単眼教師からVQVAE深度コードブックを蒸留して、密集深度をコンパクトなシーケンスにトークン化し、 (II)SAM2ベースのセマンティックセグメンテーショントークンとVQ-VAE深度トークンをLCM内に統合することにより、まず空間トークンを出力し、次に回答する。 深度トークンの生成を安定させるために,新しい合成深度トークン(マーカー,トークン,カウント損失)とソフトマージ技術を導入する。 さまざまなデータセットにまたがるマルチタスクのコトレーニング戦略を採用し、モデルが認識トークンを学習して、複数の下流タスクに対処できるようにします。 InternVL上に構築されたPerceptioは,RefCOCO/+/g HardBLINK空間理解精度を10.3%向上した+0.8/+1.4/+1.1 cIoU,MMBench精度を1.0%向上し,LVLMにおける空間的接地を大幅に強化した。

関連論文リスト

• Grounding Everything in Tokens for Multimodal Large Language Models [22.159698168842862]
  本稿では,学習可能なトークンの特別な語彙をMLLMに統合する,オブジェクトのグラウンド化のための空間表現手法であるGETokを提案する。 トークンに直接空間関係を埋め込むことにより、GETokは自己回帰アーキテクチャを変更することなく、ネイティブな2次元空間推論においてMLLMを著しく前進させる。
  論文  参考訳（メタデータ） (2025-12-11T11:38:50Z)
• COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence [57.63155257058967]
  我々は,統合MLLMが空間知覚を高める本質的な能力を発達させ,適応的インターリーブ推論により,より強力な空間知性を実現することができるかどうかを検討する。 深度とセグメンテーションを補助モダリティとして活用し,補助モダリティ生成と適応的,インターリーブな推論能力を得るために2段階の訓練を施した統合MLLMである textbfCOOPER を提案する。
  論文  参考訳（メタデータ） (2025-12-04T08:26:04Z)
• Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
  Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。 約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。 トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
  論文  参考訳（メタデータ） (2025-11-24T18:55:19Z)
• Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models [75.45940282834327]
  本稿では,MLLMの空間的推論能力の評価と改善を目的とした視点学習を紹介する。 多様な視点とそれに対応する質問応答対を持つ100Kオブジェクト中心のイメージペアからなるViewpoint-100Kデータセットを提案する。 このアプローチでは2段階の微調整戦略を採用し,複数のタスクにまたがる大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-03T14:27:00Z)
• SD-VLM: Spatial Measuring and Understanding with Depth-Encoded Vision-Language Models [75.64836077468722]
  視覚言語モデル(VLM)は2次元意味的視覚的理解において優れているが、3次元空間的関係について定量的に推論する能力はいまだ未解明のままである。 VLMの基本空間知覚能力を大幅に向上させる新しいフレームワークであるSD-VLMを提案する。 我々はSD-VLMを訓練した。これは強力な一般化VLMであり、より優れた空間的測定と理解能力を示す。
  論文  参考訳（メタデータ） (2025-09-22T12:08:12Z)
• See&Trek: Training-Free Spatial Prompting for Multimodal Large Language Model [33.18304419115947]
  SEE&TREKは、視覚のみの制約下でのマルチモーダル大言語モデル(MLLM)の空間的理解を強化する最初のトレーニングフリープロンプトフレームワークである。 視覚的多様性の向上と運動再建に注力する。 本手法はトレーニング・GPUフリーであり,1回のフォワードパスしか必要とせず,既存のMLLMSにシームレスに統合できる。
  論文  参考訳（メタデータ） (2025-09-19T15:30:26Z)
• Point Linguist Model: Segment Any Object via Bridged Large 3D-Language Model [51.02616473941499]
  大規模言語モデル(LLM)による3Dオブジェクトのセグメンテーションは、その広範囲なセマンティクス、タスクの柔軟性、強力な一般化により、広く普及しているパラダイムとなっている。 LLMは高レベルなセマンティックトークンを処理し、3次元の点雲は密度の高い幾何学的構造のみを伝達する。 本稿では,LLMと高密度3次元点雲の間の表現ギャップを橋渡しする一般フレームワークであるポイント言語モデル(PLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-09T15:01:28Z)
• Barking Up The Syntactic Tree: Enhancing VLM Training with Syntactic Losses [31.85977999591524]
  視覚言語モデルは、画像領域と大規模トレーニングデータの単語を暗黙的に関連付けることを学習する。 テキストモダリティ内のリッチな意味的構造と構文的構造は、監督の源として見過ごされている。 階層的構造化学習(HIST)は、追加の人間のアノテーションを使わずに、空間的視覚言語アライメントを強化する。
  論文  参考訳（メタデータ） (2024-12-11T05:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。