論文の概要: When VLMs Trust Context: Evaluating Scene Text Recognition under Misleading Context

• arxiv url: http://arxiv.org/abs/2609.34781v1
• Date: Mon, 28 Sep 2026 09:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:56:22.859924
• Title: When VLMs Trust Context: Evaluating Scene Text Recognition under Misleading Context
• Title（参考訳）: VLMがコンテクストを信頼する時: ミスリーディングコンテキスト下でのシーンテキスト認識の評価
• Abstract要約: 視覚言語モデル(VLM)は自然の場面でテキストを読むことができるが、その予測は周囲の文脈に影響される可能性がある。 SceneFaithは、781個のシーン画像のベンチマークで、この振る舞いを研究する。 7つのファミリーの15モデルにまたがって、全てのモデルでは8.45%から58.51%のレートで鮮明な画像の書き直しが行われている。
• 参考スコア（独自算出の注目度）: 17.186250064889887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) can read text in natural scenes, but their predictions may be influenced by the surrounding context. When the printed text conflicts with what the scene suggests, a model may return a more plausible word instead of the shown text. We introduce SceneFaith, a benchmark of 781 generated scene images for studying this behavior. Each output is classified as Literal, Canonical, or Other, separating faithful transcription from context-consistent rewriting and ordinary recognition errors. Across 15 models from seven families, all models show rewriting on clear images, with rates ranging from 8.45\% to 58.51\%. Controlled experiments further show that surrounding context matters: removing surrounding scene information reduces rewriting and improves literal accuracy, while changing the scene around the same text patch can also change model outputs. Moreover, weakening the target text with blur increases rewriting. These results show that reliable scene-text recognition requires VLMs to balance visual character evidence with contextual information, preserving clear text while using context mainly when the visual evidence is uncertain.
• Abstract（参考訳）: 視覚言語モデル(VLM)は自然の場面でテキストを読むことができるが、その予測は周囲の文脈に影響される可能性がある。 印刷されたテキストがシーンが示唆するものと矛盾する場合、モデルは表示されたテキストの代わりに、より妥当な単語を返すことができる。 SceneFaithは、781個のシーン画像のベンチマークで、この振る舞いを研究する。 各出力はLiteral、Canonical、または他と分類され、コンテキスト一貫性のある書き換えと通常の認識エラーから忠実に書き起こされる。 7つのファミリーの15モデル全体で、全てのモデルは8.45\%から58.51\%のレートで鮮明な画像の書き直しを示している。 周囲のシーン情報を削除することで書き直しの精度が向上し、同じテキストパッチでシーンを変更することでモデル出力も変更できる。 さらに、ぼやけでターゲットテキストを弱めると書き直しが増加する。 これらの結果から,視覚的証拠が不確実である場合を中心に,視覚的証拠と文脈的情報とのバランスを保ちながら,明瞭な文章を保存し,視覚的証拠のバランスを取る必要があることが示唆された。

関連論文リスト

• TextSculptor: Training and Benchmarking Scene Text Editing [88.11688559021628]
  データ構築とシーンテキスト編集評価のための総合的なフレームワークであるTextSculptorを提案する。 TextSculptorはオープンソースのテキスト編集性能を改善し、プロプライエタリなモデルとのギャップを狭める。
  論文  参考訳（メタデータ） (2026-05-20T12:22:26Z)
• SceneVTG++: Controllable Multilingual Visual Text Generation in the Wild [55.619708995575785]
  自然景観画像のテキストは、以下の4つの重要な基準を満たす必要がある。 生成されたテキストは、自然なシーンOCR(Optical Character Recognition)タスクのトレーニングを容易にする。 生成された画像は、テキスト検出やテキスト認識といったOCRタスクにおいて優れている。
  論文  参考訳（メタデータ） (2025-01-06T12:09:08Z)
• On Manipulating Scene Text in the Wild with Diffusion Models [4.034781390227754]
  本稿では,Diffusion-BasEd Scene Text Operation Network(DBEST)を紹介する。 具体的には,2つの適応戦略,すなわちワンショットスタイル適応とテキスト認識指導を設計する。 本手法は,文字レベル評価のためのデータセットの94.15%と98.12%を達成する。
  論文  参考訳（メタデータ） (2023-11-01T11:31:50Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• RoCOCO: Robustness Benchmark of MS-COCO to Stress-test Image-Text Matching Models [39.37985751472905]
  我々はMS-COCOテストセットにテキストと画像の新しい変種を作成し、新しいデータを用いて最先端(SOTA)モデルを再評価する。 具体的には、単語を置換することでテキストの意味を変更し、視覚的なコンテキストを維持する視覚的に変化した画像を生成する。 提案したベンチマークによる評価の結果,多くのSOTAモデルの性能劣化が確認された。
  論文  参考訳（メタデータ） (2023-04-21T03:45:59Z)
• VicTR: Video-conditioned Text Representations for Activity Recognition [73.09929391614266]
  より優れたビデオVLMは、視覚情報よりもテキストの強化に重点を置くことで設計できる、と我々は主張する。 本稿では,ビデオ条件付きテキスト表現(VicTR)を紹介する。 我々のモデルは、視覚的に接地された補助テキストという形で、自由に利用できるセマンティック情報を利用することができる。
  論文  参考訳（メタデータ） (2023-04-05T16:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。