論文の概要: Linguistic Context Recodes Visual Representations in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.00035v1
- Date: Tue, 21 Jul 2026 06:06:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-09 10:00:34.259056
- Title: Linguistic Context Recodes Visual Representations in Vision-Language Models
- Title（参考訳）: 視覚言語モデルにおける視覚表現の言語文脈による再構成
- Abstract要約: 視覚言語モデル(VLM)は,目標指向言語で提示された視覚表現を再構成可能であることを示す。
まず、自然言語のプロンプトの下で、どのオブジェクトが目標関連であるかを示す抽象参照表現を同定する。
次に,オブジェクトの視覚的表現において,目的関連属性を選択的に増幅する。
- 参考スコア（独自算出の注目度）: 20.8506186745408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Goal-directed visual processing is a hallmark of human visual intelligence, resulting in representations that support downstream tasks such as categorization or search. Though vision-language models (VLMs) are often faced with these same tasks, their ability to recode visual representations when presented with goal-directed language remains poorly characterized. Indeed, prior work largely treats visual representations in VLMs as static repositories of visual information that are manipulated by language representations. In the present work, we provide evidence for two concrete instances of language-induced recoding of visual representations. First, we identify an abstract reference representation that denotes which objects are goal-relevant under a natural language prompt. We extract contrastive steering vectors corresponding to this reference representation and demonstrate that they are causally implicated in model predictions. These reference representations are abstract in that they generalize to different objects, different task contexts, and even from synthetic to naturalistic images. Second, we demonstrate language-induced attribute modulation: later layers selectively amplify goal-relevant attributes in visual representations of objects. We demonstrate this phenomenon across a range of different prompts. Finally, we provide a causal intervention that demonstrates that attribute modulation mediates a VLM's response distribution. Together, our results support a more dynamic account of cross-modality processing in VLMs -- rather than vision tokens serving as static repositories of information, they are modulated to support queries articulated in language.
- Abstract（参考訳）: ゴール指向視覚処理は人間の視覚知能の目印であり、結果として分類や探索などの下流タスクをサポートする表現となる。
視覚言語モデル(VLM)はしばしばこのようなタスクに直面するが、目標指向言語で提示された場合の視覚表現を復号する能力は、まだ不十分である。
実際、以前の研究は、言語表現によって操作される視覚情報の静的リポジトリとして、VLMの視覚表現を主に扱う。
本研究では,言語による視覚表現の復号化の2つの具体例を示す。
まず、自然言語のプロンプトの下で、どのオブジェクトが目標関連であるかを示す抽象参照表現を同定する。
この参照表現に対応する対照的なステアリングベクトルを抽出し、モデル予測に因果関係があることを実証する。
これらの参照表現は、異なる対象、異なるタスクコンテキスト、合成画像から自然画像までを一般化する抽象的である。
次に,オブジェクトの視覚的表現において,目的関連属性を選択的に増幅する。
我々はこの現象を様々なプロンプトで示している。
最後に、属性変調がVLMの応答分布を媒介することを示す因果介入を提案する。
VLMでは,静的な情報レポジトリとして機能する視覚トークンではなく,言語で記述されたクエリをサポートするように調整されている。
関連論文リスト
- VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors [14.288057170664983]
視覚言語モデル(VLM)は、幅広いマルチモーダルタスクにおいて印象的なパフォーマンスを達成する。
しかし、必要な情報が内部表現に存在する場合でも失敗することが多い。
このギャップは、視覚情報をテキスト空間に移動することに焦点を当てた、狭いトレーニングパイプラインから生じている。
論文 参考訳（メタデータ） (2026-04-02T19:40:56Z) - Steerable Visual Representations [72.39044430620977]
我々は、グローバルでローカルな機能を自然言語で操れるステアブルなビジュアル表現を紹介した。
また,本手法は,異常検出とパーソナライズされた対象の識別に専用アプローチを適合させ,性能を向上する。
論文 参考訳（メタデータ） (2026-04-02T17:59:49Z) - Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。
我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。
本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
論文 参考訳（メタデータ） (2026-03-21T13:10:37Z) - Visual Representations inside the Language Model [36.35124375782294]
本研究では,視覚情報の流れを言語モデルを用いて研究し,画像値トークンが十分な情報をエンコードし,認知度の高いタスクを遂行することを示した。
入力された視覚エンコーディングのプロジェクションから受信した視覚情報を言語モデルで拡張するが、複数のタスクの視覚情報は同等の視覚エンコーダ(SigLIP)よりも少ない。
次に、画像入力にテキストプレフィックスを追加することで、視覚表現の知覚能力を向上させることを示し、言語モデルにおける視覚情報制御について議論する。
論文 参考訳（メタデータ） (2025-10-06T14:01:39Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z) - Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。
著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
論文 参考訳（メタデータ） (2024-10-09T17:55:02Z) - Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。
結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。
この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文 参考訳（メタデータ） (2023-09-09T03:01:38Z) - Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。
1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
論文 参考訳（メタデータ） (2022-12-27T09:13:19Z) - Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。
本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
論文 参考訳（メタデータ） (2022-10-18T17:01:35Z) - Learning Visual Representations with Caption Annotations [19.24013129952071]
本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。
ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。
実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
論文 参考訳（メタデータ） (2020-08-04T08:04:16Z) - Probing Contextual Language Models for Common Ground with Visual
Representations [76.05769268286038]
我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。
以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。
視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
論文 参考訳（メタデータ） (2020-05-01T21:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。