論文の概要: Sorry Robot, Happy Human: Vision-Language Models Read Only One of Two Legible Typographic Layers

• arxiv url: http://arxiv.org/abs/2609.31403v1
• Date: Fri, 25 Sep 2026 15:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.460146
• Title: Sorry Robot, Happy Human: Vision-Language Models Read Only One of Two Legible Typographic Layers
• Title（参考訳）: 可愛らしいロボット「Sorry Robot」:2つのタイポグラフィー層のうちの1つしか読めない視覚言語モデル
• Abstract要約: データセットは300の画像で構成されており、それぞれが鋭い輪郭線を持つテキストを、柔らかいシェーディングを持つ別のテキストに重ね合わせている。 検証研究により、人間の被験者は両方のテキスト層を高い精度で読み取ることができた。 モデルは高解像度でほぼ人間に近い精度で輪郭テキストを読み取るが、シェーディングテキストを完全に抽出することはなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs), despite their success in optical character recognition (OCR) tasks, are vulnerable to typographic attacks and have a fragile structure for images with multiple text layers. In this study, the DecoyBench dataset was created using the Decoy Font method. The dataset consists of 300 images, each containing text with sharp contour lines superimposed on another text with soft shading. Six recent closed-source models from three different model families were evaluated using this dataset under two different prompting conditions (naive and guided) and at two different resolutions ($512\times512$ and $64\times64$). A validation study showed that human participants could read both text layers with high accuracy. In contrast, the models, with most variants and both prompting methods, read the contour text with near-human accuracy at high resolution, but almost never fully extracted the shading text. At low resolution, the contour text could not be read by either the models or humans, while the shading text could be extracted with high accuracy. The findings indicate that the evaluated VLMs exhibit a consistent behavioral limitation when processing typographic structures containing multiple spatial frequency layers.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、光学文字認識(OCR)タスクの成功にもかかわらず、タイポグラフィー攻撃に対して脆弱であり、複数のテキスト層を持つ画像に対して脆弱な構造を持つ。 本研究では,Decoy Font法を用いてDecoyBenchデータセットを作成した。 データセットは300の画像で構成され、それぞれがソフトシェーディングのある別のテキストに重畳された鋭い輪郭線を持つテキストを含んでいる。 3つの異なるモデルファミリーの6つの最近のクローズドソースモデルについて、このデータセットを2つの異なるプロンプト条件(ナイーブとガイド付き)と2つの異なる解像度(512\times512$と644\times64$)で評価した。 検証実験により、人間の被験者は両方のテキスト層を高い精度で読み取ることができた。 対照的に、ほとんどの変種と両方のプロンプトメソッドを持つモデルは、高解像度でほぼ人間に近い精度で輪郭テキストを読み取るが、シェーディングテキストを完全に抽出することはなかった。 低解像度では、輪郭テキストはモデルでも人間でも読めず、シェーディングテキストは高精度に抽出できる。 その結果,複数の空間周波数層を含むタイポグラフィ構造を処理する場合,評価されたVLMは一貫した行動制限を示すことがわかった。

関連論文リスト

• MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting [8.338732868244707]
  マルチエンコーダセグメンテーションと視覚言語モデル認識を組み合わせた2段階パイプラインを提案する。 人工的なトレーニングデータなしで,Total-Text と ICDAR 2015 で高いパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2026-09-23T23:58:17Z)
• Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
  MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。 我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
  論文  参考訳（メタデータ） (2026-03-10T02:14:23Z)
• GlyphMastero: A Glyph Encoder for High-Fidelity Scene Text Editing [23.64662356622401]
  GlyphMasteroという特殊なグリフエンコーダは、ストロークレベルの精度でテキストを生成するために、潜時拡散モデルを導出するために設計されている。 本手法は,現状のシーンテキスト編集ベースラインよりも文精度が18.02%向上した。
  論文  参考訳（メタデータ） (2025-05-08T03:11:58Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Paragraph-to-Image Generation with Information-Enriched Diffusion Model [62.81033771780328]
  パラディフュージョン(英: ParaDiffusion)は、パラディフュージョンモデルである。 これは、大きな言語モデルの広範囲な意味理解能力を画像生成のタスクに移すことを念頭に置いている。 コードとデータセットは、長文アライメントに関するコミュニティの研究を促進するためにリリースされます。
  論文  参考訳（メタデータ） (2023-11-24T05:17:01Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。