論文の概要: Grounding Everything in Tokens for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2512.10554v1
• Date: Thu, 11 Dec 2025 11:38:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.341026
• Title: Grounding Everything in Tokens for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大規模言語モデルのための知識の基盤化
• Authors: Xiangxuan Ren, Zhongdao Wang, Liping Hou, Pin Tang, Guoqing Wang, Chao Ma,
• Abstract要約: 本稿では,学習可能なトークンの特別な語彙をMLLMに統合する,オブジェクトのグラウンド化のための空間表現手法であるGETokを提案する。 トークンに直接空間関係を埋め込むことにより、GETokは自己回帰アーキテクチャを変更することなく、ネイティブな2次元空間推論においてMLLMを著しく前進させる。
• 参考スコア（独自算出の注目度）: 22.159698168842862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have made significant advancements in vision understanding and reasoning. However, the autoregressive Transformer architecture used by MLLMs requries tokenization on input images, which limits their ability to accurately ground objects within the 2D image space. This raises an important question: how can sequential language tokens be improved to better ground objects in 2D spatial space for MLLMs? To address this, we present a spatial representation method for grounding objects, namely GETok, that integrates a specialized vocabulary of learnable tokens into MLLMs. GETok first uses grid tokens to partition the image plane into structured spatial anchors, and then exploits offset tokens to enable precise and iterative refinement of localization predictions. By embedding spatial relationships directly into tokens, GETok significantly advances MLLMs in native 2D space reasoning without modifying the autoregressive architecture. Extensive experiments demonstrate that GETok achieves superior performance over the state-of-the-art methods across various referring tasks in both supervised fine-tuning and reinforcement learning settings.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、視覚理解と推論において大きな進歩を遂げている。 しかし,MLLMのオートレグレッシブトランスフォーマーアーキテクチャは,入力画像のトークン化を再現し,2次元画像空間内でオブジェクトを正確にグラウンドする能力を制限する。 これは重要な疑問を提起する: MLLMの2次元空間におけるより良い基底オブジェクトに対して、シーケンシャルな言語トークンをどのように改善できるか? そこで本研究では,学習可能なトークンの特別な語彙をMLLMに統合した,オブジェクトのグラウンド化のための空間表現手法であるGETokを提案する。 GETokはまずグリッドトークンを使用して、イメージプレーンを構造化された空間アンカーに分割し、オフセットトークンを使用して、ローカライゼーション予測の正確かつ反復的な洗練を可能にする。 トークンに直接空間関係を埋め込むことにより、GETokは自己回帰アーキテクチャを変更することなく、ネイティブな2次元空間推論においてMLLMを著しく前進させる。 大規模な実験により、GETokは教師付き微調整と強化学習の両方において、様々な参照タスクに対して最先端の手法よりも優れた性能を発揮することが示された。

関連論文リスト

• SpatialGeo:Boosting Spatial Reasoning in Multimodal LLMs via Geometry-Semantics Fusion [23.86761713752287]
  MLLM(Multimodal large language model)は、画像および言語タスクにおいて大きな進歩を遂げている。 ほとんどのMLLMは、空間的配置を3次元空間で解釈し推論する限られた空間的推論能力に悩まされている。 幾何学と意味論の階層的融合に基づく新しい視覚エンコーダを提案し,空間認識型視覚埋め込みを生成する。
  論文  参考訳（メタデータ） (2025-11-21T15:24:33Z)
• Point Linguist Model: Segment Any Object via Bridged Large 3D-Language Model [51.02616473941499]
  大規模言語モデル(LLM)による3Dオブジェクトのセグメンテーションは、その広範囲なセマンティクス、タスクの柔軟性、強力な一般化により、広く普及しているパラダイムとなっている。 LLMは高レベルなセマンティックトークンを処理し、3次元の点雲は密度の高い幾何学的構造のみを伝達する。 本稿では,LLMと高密度3次元点雲の間の表現ギャップを橋渡しする一般フレームワークであるポイント言語モデル(PLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-09T15:01:28Z)
• Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
  純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。 我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。 コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:04Z)
• Generative Multimodal Pretraining with Discrete Diffusion Timestep Tokens [66.02261367232256]
  MLLM(Multimodal Large Language Models)は、視覚的理解と生成を統一することを目的としている。 既存のアプローチは空間的トークンに依存しており、画像パッチは空間的順序に応じてエンコードされ配置される。 本稿では,個別の視覚トークンを学習するために拡散時間ステップを再構成し,適切な視覚言語を構築する。
  論文  参考訳（メタデータ） (2025-04-20T16:14:28Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
  本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。 本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。 我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T08:22:00Z)
• GROUNDHOG: Grounding Large Language Models to Holistic Segmentation [22.347590874621865]
  本稿では,Large Language ModelsをベースとしたMLLMであるGROUNDHOGを紹介する。 GROUNDHOGはマスク付き特徴抽出器を内蔵し、抽出した特徴をMLLMバックボーンの視覚的実体トークンに変換する。 実験結果から,GROUNDHOGはタスク固有の微調整を伴わずに,様々な言語基盤タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-02-26T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。