論文の概要: Mixture-of-Thought-Tokens: Unifying Perception and Reasoning for Free-form Multimodal Grounding

• arxiv url: http://arxiv.org/abs/2607.24407v1
• Date: Mon, 27 Jul 2026 13:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.427711
• Title: Mixture-of-Thought-Tokens: Unifying Perception and Reasoning for Free-form Multimodal Grounding
• Title（参考訳）: 知識の混合:自由形マルチモーダルグラウンドにおける知覚と推論の統合
• Authors: Tianyi Gao, Han Fang, Tianyi Ding, Hao Li, Xin Wei, Hongbo Sun, Xiaodong Dong, Ye Yuan, Jinglin Xu, Kongming Liang, Hao Sun, Jingmin Xin,
• Abstract要約: The Mixture-of-Thought-Tokens (Motto) is a new free-form multimodal grounding method。 Mottoは認識と推論のギャップを埋め、MLLMが多様な任意のグラウンドクエリを増強することを可能にする。 広範囲にわたる実験により、Mottoは様々な自由形式グラウンドタスクで最先端のパフォーマンスを達成することが示された。
• 参考スコア（独自算出の注目度）: 45.606064707494774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models have made great progress in grounding tasks, yet existing methods still struggle to unify precise localization and complex reasoning. For one thing, text-based methods rely on coordinates or index prediction, severely limiting the perceptual capabilities of the model for dense visual objects. Meanwhile, latent token-based methods employ special tokens without inherent spatial references and use a decoding mechanism that lacks thinking steps, weakening high-level reasoning capabilities. Consequently, developing a unified framework that excels in both perception and reasoning remains challenging. To address this, we propose Mixture-of-Thought-Tokens (Motto), a new free-form multimodal grounding method that bridges the perception-reasoning gap, enabling MLLMs to empower diverse, arbitrary grounding queries. Specifically, we introduce Spatially-Grounded Thought Tokenization to explicitly align special tokens with spatial locations for clear spatial correspondence and visual interpretability. We further design a Context-Adaptive Chain-of-Tokens that dynamically switch grounding modes within an interleaved reasoning chain, achieving robust grounding across tasks of varying complexity. In addition, we construct PR-Bench, a new referring expression comprehension benchmark to evaluate the perception-reasoning gap. Extensive experiments demonstrate that Motto achieves state-of-the-art performance across diverse free-form grounding tasks.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルはタスクの基盤化に大きな進歩を遂げているが、既存の手法は正確なローカライゼーションと複雑な推論の統一に苦慮している。 ひとつは、テキストベースの手法は座標やインデックス予測に依存しており、密集した視覚オブジェクトに対するモデルの知覚能力を著しく制限する。 一方、潜在トークンベースの手法では、固有の空間参照を持たない特別なトークンを使用し、思考ステップが欠如し、高いレベルの推論能力を弱める復号機構を用いる。 したがって、認識と推論の両方に優れた統一されたフレームワークの開発は、依然として困難なままである。 そこで本稿では,Mixture-of-Thought-Tokens (Motto) を提案する。 具体的には、特別なトークンを空間的位置と明確に整合させ、空間的対応と視覚的解釈性を高めるために、空間的に包括された思考トークン化を導入する。 さらに、インターリーブされた推論チェーン内のグラウンドモードを動的に切り替えるコンテキスト適応型チェイン・オブ・トークンを設計し、様々な複雑さのタスクに対して堅牢なグラウンド化を実現する。 さらに,新しい参照表現理解ベンチマークであるPR-Benchを構築し,認識と推論のギャップを評価する。 広範囲にわたる実験により、Mottoは様々な自由形式グラウンドタスクで最先端のパフォーマンスを達成することが示された。

関連論文リスト

• SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
  空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。 テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。 本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
  論文  参考訳（メタデータ） (2026-04-19T11:21:59Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Multimodal Latent Reasoning via Hierarchical Visual Cues Injection [16.779425236020433]
  この研究は、頑健な推論は潜在空間内で進化し、シームレスにマルチモーダル信号を統合することを示唆している。 表面的な文章の合理性に依存することなく、意図的な「スロー思考」を具現化する新しい枠組みを提案する。 視覚知識を取り入れたテストタイムスケーリングは有効であり,階層的な情報の統合は複雑な場面に対するモデルの理解を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2026-02-05T06:31:12Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• RemoteReasoner: Towards Unifying Geospatial Reasoning Workflow [19.502882116487005]
  リモートセンシング画像は、大きく、本質的に非構造的な空間データを提示する。 地理空間推論のための統合ワークフローであるRemoteReasonerを提案する。 RemoteReasonerは、複数の粒度推論タスクにわたる最先端(SOTA)パフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-25T13:58:11Z)
• Reinforcing Spatial Reasoning in Vision-Language Models with Interwoven Thinking and Visual Drawing [62.447497430479174]
  空間における推論への描画は、視覚空間における基本的な描画操作を通じてLVLMを推論できる新しいパラダイムである。 我々のモデルはVILASRと呼ばれ、様々な空間推論ベンチマークで既存の手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-11T17:41:50Z)
• EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks [24.41705039390567]
  EmbodiedVSR (Embodied Visual Space Reasoning) は動的シーングラフ誘導型Chain-of-Thought (CoT)推論を統合する新しいフレームワークである。 本手法はタスク固有の微調整なしでゼロショット空間推論を可能にする。 実験により,我々のフレームワークは,既存のMLLM法よりも精度と推論コヒーレンスにおいて優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T05:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。