論文の概要: Semantic Consistency of Vision Tokens: A Vision-Centric Perspective on Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2611.15448v1
- Date: Wed, 11 Nov 2026 13:18:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.150233
- Title: Semantic Consistency of Vision Tokens: A Vision-Centric Perspective on Multimodal Large Language Models
- Title(参考訳): 視覚トークンのセマンティック一貫性:多モーダル大言語モデルにおける視覚中心的視点
- Abstract要約: MLLM (Multimodal large language model) はしばしば言語アライメントのために前者を使用する。
自己教師型モデルが視覚中心のタスクにおいてMLLMを支援するかどうかを検討する。
- 参考スコア(独自算出の注目度): 37.276081564732245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In computer vision, vision-language and self-supervised encoders are two unique paradigms characterized by global language alignment and high-quality vision-only patch representations, respectively. Multimodal large language models (MLLMs) often use the former because of language alignment, despite the recent rise in vision-centric tasks resembling traditional dense vision tasks that would likely benefit from the high-quality patch representations, raising the question whether self-supervised models could aid MLLMs in vision-centric tasks. To investigate this, we define semantic (in)consistency of patch tokens from language-aligned encoders and identify two sets of tokens, semantically consistent (SCTs) and semantically inconsistent (SITs). Through systematic probing via the removal of SCTs or SITs from the input of modern MLLMs, we show higher reliance on SCTs than SITs, as removal of the former induces larger performance drops. This demonstrates that MLLMs benefit from semantic consistency of vision tokens. With this in mind, we devise a simple yet effective extension of the MLLM training objective that combines traditional language modeling with semantic guidance via minimization of semantic inconsistency. This strategy, named Semantically-Guided Training (SGT), combines the signals of both loss terms to push the vision encoder towards providing semantically consistent tokens, while preserving language alignment. Extensive evaluation shows that SGT outperforms all baselines and MLLMs with specialized vision encoders on vision-centric benchmarks while keeping strong scores on text-centric benchmarks, thus setting state of the art on average across all tasks. Our results highlight the importance of combining language alignment and semantic consistency through the lens of MLLMs rather than independently from them and pave the way towards the design of better MLLM vision encoders.
- Abstract(参考訳): コンピュータビジョンでは、視覚言語と自己監督型エンコーダは、それぞれグローバル言語アライメントと高品質な視覚のみのパッチ表現を特徴とする2つのユニークなパラダイムである。
MLLM(Multimodal large language model)は、高品質のパッチ表現から恩恵を受けるであろう、従来の高密度なビジョンタスクに似た視覚中心のタスクが最近増加しているにもかかわらず、言語アライメントのためにしばしば前者を使用する。
そこで本研究では,言語対応エンコーダからパッチトークンの意味的整合性を定義し,意味的整合性(SCT)と意味的整合性(SIT)の2つのトークン群を同定する。
MLLMの入力からSCTやSITを除去することにより,SCTをSITよりも高い信頼度を示す。
これは、MLLMが視覚トークンのセマンティック一貫性の恩恵を受けていることを示している。
このことを念頭に置いて,従来の言語モデリングと意味的不整合の最小化による意味指導を組み合わせた,MLLMトレーニング目標の単純かつ効果的な拡張を考案した。
Semantically-Guided Training (SGT)と名付けられたこの戦略は、両方の損失項の信号を組み合わせて、視覚エンコーダを意味的に一貫したトークンを提供しながら、言語アライメントを保存する。
広範囲な評価の結果、SGTは視覚中心のベンチマークに特化したビジョンエンコーダで全てのベースラインとMLLMを上回り、テキスト中心のベンチマークでは強いスコアを維持し、すべてのタスクで平均的な最先端の設定を行う。
本研究は,MLLMのレンズを通して,言語アライメントとセマンティック一貫性を組み合わせることの重要性を強調し,より優れたMLLMビジョンエンコーダの設計への道を開くものである。
関連論文リスト
- Seeing Beyond Words: Self-Supervised Visual Learning for Multimodal Large Language Models [53.06230963851451]
JARVISは、MLLMの自己教師型視覚強調のためのJEPAにインスパイアされたフレームワークである。
JARVISは,MLLMの自己教師型視覚強調のためのJEPAに着想を得たフレームワークである。
論文 参考訳(メタデータ) (2025-12-17T19:01:34Z) - Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。
本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。
SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。
結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
論文 参考訳(メタデータ) (2024-06-07T17:55:43Z) - Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。
結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。
この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文 参考訳(メタデータ) (2023-09-09T03:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。