論文の概要: When MLLMs miss what humans read: diagnosing and learning to read squint text

• arxiv url: http://arxiv.org/abs/2610.13465v1
• Date: Fri, 09 Oct 2026 12:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.560025
• Title: When MLLMs miss what humans read: diagnosing and learning to read squint text
• Title（参考訳）: MLLMが人間の読み物を見逃すとき:診断とスキントテキストの学習
• Abstract要約: 我々はこのクラスを Squint Text と命名し、認識障害として研究する。 1076個の合成モデレーション画像からなるSquintBenchを紹介する。 Squint OPSD は SquintBench で 88.61 ANLS に達するが、未適応のバックボーンでは 26.50 である。
• 参考スコア（独自算出の注目度）: 15.28918423627757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal LLMs can fail to read text embedded in an image's coarse structure (text a human recovers by squinting) and report that no text is present. We name this class Squint Text and study it as a recognition deficiency, motivated by cases from a production moderation pipeline. We introduce SquintBench, comprising 1076 production-derived moderation images, and SquintCtrl, a controlled synthetic suite for mechanism diagnosis. Frozen-weight analysis shows that hidden text leaves a coarse signal while glyph identity is weakly represented; identity becomes substantially more accessible when the correct spatial regions are supplied, implicating spatial selection as a major bottleneck. Suppressing high-frequency content also improves reading at a fixed visual-token budget, while visual token count may also contribute. These findings motivate Squint OPSD: a frozen teacher receives a downscaled view and the ground-truth transcription as privileged context, and its token-level distributions supervise a student along on-policy trajectories. At inference, the student reads the original image alone. Squint OPSD reaches 88.61 ANLS on SquintBench, versus 26.50 for the unadapted backbone, 24.44 for the best general-purpose model on the original view, and 68.60 at best for an off-the-shelf model under a downscaled view. These results substantially narrow the gap between available visual evidence and its generated read-out without auxiliary views at inference.
• Abstract（参考訳）: マルチモーダルLLMは、画像の粗い構造に埋め込まれたテキスト(人間がスクインティングによって回復するテキスト)を読めず、テキストが存在しないことを報告することができる。 我々は、このクラスをSquint Textと名付け、プロダクションモデレーションパイプラインのケースによって動機付けられた認識不足として研究する。 1076個の合成モデレーション画像からなるSquintBenchと、メカニズム診断のための制御された合成スイートであるSquintCtrlを紹介する。 凍結重み解析では、隠れテキストは粗い信号を残し、グリフのアイデンティティは弱く表現されている。 高周波コンテンツを抑圧することで、固定された視覚的トーケン予算での読み出しも改善される一方、視覚的トークン数も寄与する。 これらの知見はSquint OPSDを動機づける: 凍結した教師は、ダウンスケールされたビューとグランドトゥルースを特権的な文脈として受け取り、トークンレベルの分布は、オン・ポリティクスの軌跡に沿って生徒を監督する。 推測では、学生はオリジナルの画像のみを読み取る。 Squint OPSD は SquintBench で 88.61 ANLS に到達し、未適応のバックボーンでは 26.50 に、オリジナルのビューでは 24.44 に、ダウンスケールのビューでは 68.60 に到達した。 これらの結果から,視覚的エビデンスと生成した読み出しとのギャップは,推論の補助的な視点を伴わずに著しく狭められた。

関連論文リスト

• Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation [13.03365340564181]
  幻覚は視覚言語モデルの重大な欠陥であり、手話翻訳において特に重要である。 本稿では,デコーダの視覚情報利用量を定量化するトークンレベルの信頼性尺度を提案する。 以上の結果から、信頼性は幻覚率を予測し、データセットやアーキテクチャをまたいで一般化し、視覚的劣化の下で低下することが示された。
  論文  参考訳（メタデータ） (2025-10-21T09:13:46Z)
• Diversity Boosts AI-Generated Text Detection [51.56484100374058]
  DivEyeは、予備的な機能を使って、予測不可能がテキスト間でどのように変動するかをキャプチャする、新しいフレームワークである。 提案手法は、既存のゼロショット検出器を最大33.2%向上させ、微調整ベースラインとの競合性能を達成する。
  論文  参考訳（メタデータ） (2025-09-23T10:21:22Z)
• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• What the DAAM: Interpreting Stable Diffusion Using Cross Attention [39.97805685586423]
  大規模拡散ニューラルネットワークは、テキスト・画像生成において重要なマイルストーンである。 説明可能性の欠如と解釈可能性の分析は、主にプロプライエタリでクローズドソースな性質のため、理解に乏しいままである。 本稿では,潜伏するサブネットワークにおけるクロスアテンションアクティベーションのアップスケーリングと集約に基づく新しい手法であるDAAMを提案する。 DAAMは,61.0のmIoUを達成し,キャプション生成画像に対して強く作用し,オープン語彙セグメンテーションにおける教師付きモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:55:41Z)
• Label Cleaning Multiple Instance Learning: Refining Coarse Annotations on Single Whole-Slide Images [83.7047542725469]
  病理検体の全スライディング画像(WSI)における癌領域のアノテーションは、臨床診断、生医学研究、機械学習アルゴリズムの開発において重要な役割を担っている。 本稿では,外部トレーニングデータを必要とせず,単一のWSI上で粗いアノテーションを洗練するためのLC-MIL (Label Cleaning Multiple Instance Learning) を提案する。 乳癌リンパ節転移,肝癌,大腸癌の検体を併用した異種 WSI 実験の結果,LC-MIL は粗いアノテーションを著しく改善し,単一スライドから学習しながらも,最先端の代替品よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-22T15:06:06Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。