論文の概要: A failure of Imagination: VLMs fail to use visual representations for text, but self-distillation can help

• arxiv url: http://arxiv.org/abs/2610.25470v1
• Date: Sun, 18 Oct 2026 18:53:18 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:02:45.026399
• Title: A failure of Imagination: VLMs fail to use visual representations for text, but self-distillation can help
• Title（参考訳）: Imaginationの失敗:VLMはテキストに視覚表現を使用しないが、自己蒸留は役に立つ
• Abstract要約: 視覚言語モデル(VL)は、視覚的質問回答の対象として視覚的特徴に対応するために、言語モデルを微調整することによって構築される。 このアライメントが、言葉で表される幾何学的質問のように、可視化が役に立つタスク上で、言語モデルがどのようにテキストを表現するかを変えるかどうかを問う。
• 参考スコア（独自算出の注目度）: 24.810174064684038
• License:
• Abstract: Vision-language (VL) models are typically built by fine-tuning a language model to attend to visual features in service of a Visual Question-Answering objective. We ask whether this alignment changes how language models represent text---especially on tasks where visualization would help, like geometry questions posed in words. We distinguish weak multimodality (the model can answer questions about an input image) from strong multimodality (the model's text representations themselves become vision-aligned, improving performance on text-only tasks with latent visual structure). To test for strong multimodality, we construct a task of shape-counting problems with paired equivalent text and image specifications. This task is trivial when the image is provided, but requires visualization when specified in text as line coordinates. We compare instruction-tuned Qwen-2.5 and Mistral models against their vision-aligned counterparts on the text variant of the task. We find that the multimodal models do no better in this setting, despite strong performance on the image version of the task. Probing experiments corroborate this: vision-aligned decoder embeddings carry no more visual structure than their text-only counterparts. Finally, we provide an optimization objective that distills in-context visual embeddings into text embeddings. This alignment induces gains on the text variant of the task without explicit task supervision, even on samples more complex than seen during alignment. This suggests that VQA-style alignment leaves available cross-modal transfer untapped.
• Abstract（参考訳）: 視覚言語(VL)モデルは一般的に、視覚的質問回答の対象として視覚的特徴に対応するために言語モデルを微調整することによって構築される。 このアライメントが、言語モデルがテキストの表現方法を変えるかどうかを問う。 我々は、弱いマルチモダリティ(入力画像に関する質問に答えられるモデル)と強いマルチモダリティ(モデルのテキスト表現自体が視覚的整合化され、潜在視覚構造を持つテキストのみのタスクのパフォーマンスが向上する)とを区別する。 強いマルチモーダル性をテストするために,ペア同値テキストと画像仕様を用いた形状計測課題を構築した。 このタスクは、イメージが提供されると簡単ですが、行座標としてテキストで指定されたときに視覚化が必要です。 タスクのテキスト変種に対して,命令調整型Qwen-2.5とMistralモデルを比較した。 この設定では、タスクのイメージバージョンに強いパフォーマンスがあるにもかかわらず、マルチモーダルモデルは良くないことがわかった。 視覚に整合したデコーダの埋め込みは、テキストのみの埋め込みよりも視覚的構造を持たない。 最後に,テキスト埋め込みへのコンテキスト内視覚埋め込みを蒸留する最適化手法を提案する。 このアライメントは、アライメント中に見られるよりも複雑なサンプルであっても、明示的なタスクの監督なしに、タスクのテキスト変種に対して利得を誘導する。 これは、VQAスタイルのアライメントが、クロスモーダル転送を未使用のままにしておくことを示唆している。

関連論文リスト

• ABC: Achieving Better Control of Multimodal Embeddings using VLMs [61.396457715710774]
  ビジュアル埋め込みモデルは、ビジュアル検索や分類のようなゼロショットタスクで優れている。 これらのモデルは曖昧さやユーザ命令を必要とするタスクには使用できない。 本稿では,視覚言語モデルバックボーンを用いたオープンソースのマルチモーダル埋め込みモデルABCを紹介する。
  論文  参考訳（メタデータ） (2025-03-01T03:29:02Z)
• Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images [7.823336661261962]
  VLM(Large Vision-Language Models)は、画像の内容を無視し、言語モデルに過剰に依存する傾向にある。 本稿では,S-VCO(Symmetrical Visual Contrastive Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:05:42Z)
• IMProv: Inpainting-based Multimodal Prompting for Computer Vision Tasks [124.90137528319273]
  本稿では,マルチモーダルプロンプトから視覚タスクをインコンテキストで学習できる生成モデルIMProvを提案する。 我々は、コンピュータビジョン論文とその関連キャプションから、新しい数字のデータセットにマスク付き生成変換器を訓練する。 推測時間中、テキストおよび/または画像タスクの例でモデルにプロンプトし、そのモデルに対応する出力を印字させる。
  論文  参考訳（メタデータ） (2023-12-04T09:48:29Z)
• Learning the Visualness of Text Using Large Vision-Language Models [42.75864384249245]
  視覚的テキストは人の心の中のイメージを誘発するが、視覚的でないテキストはそれを起こさない。 テキスト内の視覚を自動的に検出する手法により、テキスト・ツー・イメージ検索と生成モデルにより、関連する画像でテキストを拡張できる。 我々は,3,620の英語文のデータセットと,複数のアノテータによって提供されるその視覚性スコアをキュレートする。
  論文  参考訳（メタデータ） (2023-05-11T17:45:16Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• A Picture May Be Worth a Hundred Words for Visual Question Answering [26.83504716672634]
  画像理解においては、簡潔だが詳細な画像表現を用いることが不可欠である。 より高速なR-CNNのような視覚モデルによって抽出された深い視覚的特徴は、複数のタスクで広く使われている。 本稿では、深い視覚的特徴の代わりに記述-探索ペアを入力とし、言語のみのトランスフォーマーモデルに入力する。
  論文  参考訳（メタデータ） (2021-06-25T06:13:14Z)
• Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text [93.08109196909763]
  我々は,新しいVQAアプローチであるMulti-Modal Graph Neural Network (MM-GNN)を提案する。 これはまず3つの部分グラフからなるグラフとして表現され、それぞれ視覚的、意味的、数値的な様相を描いている。 次に3つのアグリゲータを導入し、あるグラフから別のグラフへのメッセージ転送を誘導し、様々なモードでコンテキストを利用する。
  論文  参考訳（メタデータ） (2020-03-31T05:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。