論文の概要: The Hidden Evolution of Disguised Visual Context inside the VLM

• arxiv url: http://arxiv.org/abs/2606.20077v1
• Date: Thu, 18 Jun 2026 10:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.806905
• Title: The Hidden Evolution of Disguised Visual Context inside the VLM
• Title（参考訳）: VLM内部の視覚環境の隠れた進化
• Authors: Wish Suharitdamrong, Tony Alex, Muhammad Awais, Sara Atito,
• Abstract要約: 視覚トークンが生の外国信号としてLarge Language Models (LLM) に入ることを示す。 我々は,同一の訓練条件下でのコンテキスト内および層間注入VLM統合パラダイムの評価を行った。 この進化によって、VLMが有効に活用できる視覚的特徴が決定されることを示す。
• 参考スコア（独自算出の注目度）: 8.702550456024769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual tokens enter Large Language Models (LLMs) as raw, foreign signals. How they are transformed into meaningful representations and interact with the language space depends entirely on the integration architecture. Whether by treating visual tokens as in-context prompts within the input sequence or injecting them directly into the LLM's intermediate layers. A controlled comparison and understanding of how these architectural choices affect visual information and its internal transformation to integrate with the LLM remains underexplored. We provide a fair comparison by evaluating in-context and layer-wise injection VLM integration paradigms under identical training conditions across single image, multi-image, and video benchmarks. In doing so, we uncover a hidden evolution where visual tokens enter the LLM as disguised visual context, raw representations lacking linguistic structure, but are progressively reshaped depending on the integration paradigm, each capturing fundamentally different frequency characteristics of the visual signal. We show that this evolution inside the LLM determines what visual features the VLM can utilize effectively, how visual representations align with the language space, and ultimately how each paradigm performs across different tasks. We further demonstrate that attention allocation alone is insufficient, and that performance is driven by the quality of visual representations at each layer.
• Abstract（参考訳）: 視覚トークンは、生の外国の信号としてLarge Language Models (LLM) に入る。 それらがどのように意味のある表現に変換され、言語空間と相互作用するかは、統合アーキテクチャに完全に依存します。 視覚トークンをインコンテキストとして扱うことで、入力シーケンス内でのプロンプトや、LSMの中間層に直接注入することができる。 これらのアーキテクチャの選択が視覚情報にどのように影響するかを制御した比較と理解は、LLMと統合するための内部変換を過小評価している。 単一画像,マルチイメージ,ビデオベンチマークにおいて,同一のトレーニング条件下で,コンテキスト内およびレイヤワイドなVLM統合パラダイムを評価することにより,公平な比較を行う。 そこで我々は,視覚的トークンが視覚的コンテキストの変装としてLLMに入るという隠れた進化を明らかにする。言語構造を欠いた生の表現は,統合パラダイムによって段階的に再構成され,それぞれが視覚信号の周波数特性を根本的に異なるものにする。 LLM内のこの進化は、VLMが有効に活用できる視覚的特徴、視覚的表現が言語空間とどのように一致しているか、そして最終的に各パラダイムが異なるタスク間でどのように機能するかを決定する。 さらに、注意割当だけでは不十分であり、各層における視覚的表現の質によって性能が向上することが示される。

関連論文リスト

• Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow [32.21470980856891]
  VLM(Vision-Language Models)は、視覚認識、文書解析、視覚的グラウンドニングなど、幅広いタスクにおいて強力な能力を示している。 最近の研究は、VLMが問題に対応する正しい画像領域をキャプチャすることが多いが、必ずしも正しい答えを生成するとは限らないことを示している。 テキストトークンが無関係な視覚トークンに過度に注意を散らしすぎる場合、この誤認識はVLM内の最適情報フローに起因する可能性があることを示す。
  論文  参考訳（メタデータ） (2026-04-17T08:07:22Z)
• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• Where do Large Vision-Language Models Look at when Answering Questions? [35.39354978511109]
  LVLM(Large Vision-Language Models)は、視覚言語理解と推論タスクにおいて有望な性能を示す。 我々は既存のヒートマップ可視化手法を拡張し、オープンな視覚的質問応答のためのLVLMをサポートする。 我々は,視覚情報を必要とするベンチマークにおいて,最先端のLVLMを包括的に分析する。
  論文  参考訳（メタデータ） (2025-03-18T04:34:43Z)
• Lifting the Veil on Visual Information Flow in MLLMs: Unlocking Pathways to Faster Inference [28.24397677839652]
  マルチモーダル大規模言語モデル(MLLM)は、事前訓練された視覚エンコーダの視覚的特徴を大規模言語モデルに統合することにより、視覚言語タスクの性能を向上させる。 MLLMがどのように処理し、どのように視覚情報を利用するかは、まだ不明である。 階層型モダリティ・アウェア・プルーニング(HiMAP, Hierarchical Modality-Aware Pruning)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T12:31:23Z)
• AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Document Understanding [79.43306110124875]
  AlignVLMは視覚的特徴をテキスト埋め込みの重み付き平均値にマッピングする視覚テキストアライメント手法である。 実験の結果,AlignVLMは先行アライメント法と比較して最先端の性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T13:34:51Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Bridging Vision and Language Spaces with Assignment Prediction [47.04855334955006]
  VLAPは、事前訓練された視覚モデルと大規模言語モデル(LLM)を橋渡しする新しいアプローチである 2つのモダリティ埋め込み空間を橋渡しするために、確立された単語埋め込みを利用する。 VLAPは、以前の線形変換ベースのアプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-15T10:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。