論文の概要: Reading Between the Layers: Cross-Modal Alignment and Representational Hierarchy in Vision Transformers

• arxiv url: http://arxiv.org/abs/2610.32463v1
• Date: Fri, 23 Oct 2026 10:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.494983
• Title: Reading Between the Layers: Cross-Modal Alignment and Representational Hierarchy in Vision Transformers
• Title（参考訳）: 層間読み出し:視覚変換器のクロスモーダルアライメントと表現階層
• Abstract要約: 本研究では, 変換器を用いた視覚エンコーダについて, 描画テキストと視覚概念の相互アライメントを用いて検討する。 この結果から,言語指導の欠如を補うため,モデルや学習データの規模が大きくなるとともに,テキストに富んだ学習データも部分的に補うことが示唆された。
• 参考スコア（独自算出の注目度）: 5.774978231125714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large vision-language models excel at optical character recognition, it remains unclear how their underlying vision encoders process text and its meaning, and whether they support anything resembling reading comprehension. We systematically study transformer-based vision encoders, using cross-modal alignment between rendered text and visual concepts together with probing and retrieval-based analyses as a controlled window into these broader capabilities. Our layer-wise analyses span orthographic, grammatical, and semantic organization, and reveal that strong cross-modal mapping emerges only in the deepest layers, after unimodal object and text recognition have already developed, coinciding with a progression from surface-level to semantic representations. Although this hierarchy is strongest in contrastively trained models, larger self-supervised models and text-rich training data partially support similar behaviors without explicit language supervision. Together, our results suggest that increasing model and training-data scale, as well as text-rich training data, can partially compensate for the absence of language supervision.
• Abstract（参考訳）: 大規模な視覚言語モデルは光学的文字認識に優れるが、その基盤となる視覚エンコーダがテキストとその意味をどのように処理し、読み書きに似たものをサポートするかは不明である。 変換器をベースとした視覚エンコーダを,レンダリングされたテキストと視覚概念を相互にアライメントし,探索と検索に基づく解析を制御窓として用いた。 我々の層解析は、正書法、文法、意味体系にまたがり、最深層にのみ強力なクロスモーダルマッピングが出現することを明らかにする。 この階層は、対照的に訓練されたモデルでは最強であるが、より大きな自己教師付きモデルとテキストリッチなトレーニングデータは、明示的な言語監督なしに、類似した振る舞いを部分的にサポートしている。 また,本研究の結果から,言語指導の欠如を補うために,モデルや学習データの規模が大きくなるとともに,テキストに富んだ学習データも部分的に補うことが示唆された。

関連論文リスト

• ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
  本稿では,視覚的量子化表現フレームワークViQについて紹介する。 我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。 マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
  論文  参考訳（メタデータ） (2026-06-25T17:29:27Z)
• Pseudo Contrastive Learning for Diagram Comprehension in Multimodal Models [0.609170287691728]
  視覚言語モデルにおけるダイアグラムの理解を高めるための新しい訓練パラダイムを提案する。 提案手法では,ランダムに選択したテキスト要素を用いて合成図を生成するダイアグラムによって生成された擬似コントラストサンプルを提案する。 これらの擬似コントラストサンプルをトレーニング対象に組み込むことで、モデルはより正確でセマンティックに整合した図構造を捉えることを学ぶ。
  論文  参考訳（メタデータ） (2026-02-27T01:39:53Z)
• Emergent Visual-Semantic Hierarchies in Image-Text Representations [13.300199242824934]
  既存の基盤モデルの知識について検討し、視覚・意味的階層の創発的な理解を示すことを明らかにする。 本稿では,階層的理解の探索と最適化を目的としたRadial Embedding (RE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-11T14:09:42Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)
• Self-Supervised Image-to-Text and Text-to-Image Synthesis [23.587581181330123]
  クロスモーダルな埋め込み空間を学習するための,新たな自己教師型深層学習手法を提案する。 そこで本研究では,まず,StackGANベースのオートエンコーダモデルを用いて画像の高密度ベクトル表現と,LSTMベースのテキストオートエンコーダを用いた文レベルでの高密度ベクトル表現を得る。
  論文  参考訳（メタデータ） (2021-12-09T13:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。