論文の概要: Using OCR Heads to Verbalize Image Semantics

• arxiv url: http://arxiv.org/abs/2609.18823v1
• Date: Wed, 16 Sep 2026 15:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.871531
• Title: Using OCR Heads to Verbalize Image Semantics
• Title（参考訳）: OCRヘッドを用いた画像セマンティクスの言語化
• Abstract要約: 我々は、VLMが光文字認識(OCR)をどのように行うかを研究する。 我々は,すべての画像トークンに対して,OCR出力の解釈可能な意味的特徴に注意を向ける必要があることを見出した。 この結果は、特定のメカニズムの研究が、より広範な解釈可能性の問題に光を当てる方法の例である。
• 参考スコア（独自算出の注目度）: 27.9000610033348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do VLMs map from pixels to semantics? To understand this general question, we focus on a narrow one: studying how VLMs perform optical character recognition (OCR). Across four models, we identify attention heads causally necessary for OCR, and discover that these are in fact general-purpose heads that output interpretable semantic features across all image tokens. For example, pointing these heads at an image token containing the word "bike" causes Qwen3-VL-8B to output "bike," but pointing them at a bird wing causes the model to output the token "feathers." We collapse these heads' attention weights into a single verbalization lens transformation that reveals interpretable semantic features in hidden states across all layers. When combined with projection to vocabulary space, we can obtain interpretable labels starting from layer 0, showing that image representations are in fact aligned with language in early layers. We find that we can also use the inverse of this transformation to edit non-word concepts, e.g., replacing a tractor with a revolver in a naturalistic image, providing causal evidence that this subspace is useful for more than just OCR. Our results are an example of how the study of specific mechanisms can shed light on broader interpretability problems.
• Abstract（参考訳）: VLMはピクセルからセマンティクスへどのようにマップするか? 本稿では,VLMが光文字認識(OCR)をどのように行うかという,狭義の問題に焦点をあてる。 4つのモデルにまたがって、OCRに必要な注意点を因果的に同定し、実際にこれらがすべての画像トークンに対して解釈可能な意味的特徴を出力する汎用的頭部であることを発見する。 例えば、これらの頭部を「バイク」という言葉を含む画像トークンに向けると、Qwen3-VL-8Bは「バイク」を出力するが、鳥の翼に向けると「フェーサー」を出力する。 我々はこれらの頭部の重みを単一の言語化レンズ変換に分解し、すべての層にまたがる隠蔽状態における解釈可能な意味的特徴を明らかにする。 射影と語彙空間を組み合わせると、0層から始まる解釈可能なラベルを得ることができ、画像表現が初期層における言語と実際に一致していることを示す。 また、この変換の逆を用いて、トラクタを自然な画像でリボルバーに置き換えるなど、非単語概念の編集が可能であり、この部分空間がOCR以外にも有用であることを示す因果的証拠を提供する。 この結果は、特定のメカニズムの研究が、より広範な解釈可能性の問題に光を当てる方法の例である。

関連論文リスト

• Preserving Localized Patch Semantics in VLMs [8.586228101739259]
  視覚トークンが対応する画像パッチから受け継がれた視覚的表現を失うのを防ぐために、NTP(Next-token Prediction)に損失を導入する。 LLLは、画像トークンが局所的な視覚情報を失うのを防ぐために、自己注意層における画像とテキストトークンの混合を制限している。 我々の実験が示すように、LLLは画像中の有意義なオブジェクト信頼マップを生成することによって、Logit Lensを実用的に意味のあるものにするだけでなく、特別なヘッドを付けずにセグメンテーションのような視覚中心のタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-02-02T01:48:11Z)
• How Do Large Vision-Language Models See Text in Image? Unveiling the Distinctive Role of OCR Heads [13.528665675607487]
  光文字認識ヘッド(OCRヘッド)と呼ばれる画像からテキストを認識するための頭部を特定する。 1)少ないスパース:以前の検索ヘッドとは異なり、画像からテキスト情報を抽出するために多数のヘッドが活性化される。 我々は,OCRと従来の検索ヘッドの両方にCoT(Chain-of-Thought)を適用し,これらのヘッドをマスキングすることで,下流タスクにおける知見を検証した。
  論文  参考訳（メタデータ） (2025-05-21T10:53:41Z)
• Knowledge-Enhanced Dual-stream Zero-shot Composed Image Retrieval [53.89454443114146]
  本研究では,ゼロショット合成画像検索タスク(ZS-CIR)について検討した。 従来の作品では、参照画像の特徴をテキスト埋め込み空間に投影することで、擬似ワードトークンを生成する。 知識強化型デュアルストリームゼロショット合成画像検索フレームワーク(KEDs)を提案する。 KEDはデータベースを組み込むことで、参照画像の属性を暗黙的にモデル化する。
  論文  参考訳（メタデータ） (2024-03-24T04:23:56Z)
• Towards Visual Syntactical Understanding [8.530698703124159]
  本稿では,ディープニューラルネットワーク(DNN)が視覚的構文理解を備えているかを検討する。 画像中の「単語」を検出し, (ii) 検出された単語をオートエンコーダを用いて順次マスクし, 再構成し, (iii) オリジナルの部分と再構成された部分を各場所で比較し, 統語的正当性を決定する。 CelebAとAFHQのデータセットから,それぞれ92.10%,90.89%の分類精度を得た。
  論文  参考訳（メタデータ） (2024-01-30T23:05:43Z)
• Interpreting CLIP's Image Representation via Text-Based Decomposition [73.54377859089801]
  CLIP画像エンコーダは,個々のモデルコンポーネントが最終表現にどう影響するかを解析することによって検討する。 画像表現は、個々の画像パッチ、モデル層、アテンションヘッドにまたがる和として分解する。 この理解を利用して、CLIPからスプリケートな機能を取り除き、強力なゼロショットイメージセグメンタを作成します。
  論文  参考訳（メタデータ） (2023-10-09T17:59:04Z)
• Identifying Interpretable Subspaces in Image Representations [54.821222487956355]
  コントラスト概念(FALCON)を用いて画像表現の特徴を説明する枠組みを提案する。 ターゲット機能として、FALCONは、大きなキャプションデータセットとCLIPのようなトレーニング済みの視覚言語モデルを使用して、高機能なトリミング画像をキャプションする。 キャプション内の各単語は、少数の共有された人間の理解可能な概念に導かれ、ランク付けされる。
  論文  参考訳（メタデータ） (2023-07-20T00:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。