論文の概要: When Models Misread Ink: Auditing VLMs for Arabic Calligraphy Recognition

• arxiv url: http://arxiv.org/abs/2610.22018v1
• Date: Thu, 15 Oct 2026 14:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.137091
• Title: When Models Misread Ink: Auditing VLMs for Arabic Calligraphy Recognition
• Title（参考訳）: モデルがインクを誤読した場合:アラビア文字認識のためのVLMの検討
• Abstract要約: アラビア文字は、ムスリム社会にとって高い文化的な視覚領域である。 VLMの評価は、その微粒なスクリプトの伝統をテストすることは滅多にない。 我々は、数値、ビジュアルキュー、ダイワニファーストプロンプトを用いて、クリーン化された1,195イメージのベンチマークで12のVLMを検査する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Arabic calligraphy is a high-stakes cultural visual domain for Muslim communities, yet VLM evaluations rarely test its fine-grained script traditions. We audit 12 VLMs on a cleaned 1,195-image six-way benchmark using numeric, visual-cue, and Diwani-first prompts. In this closed-set setting, the best numeric-prompt accuracy is 60.9% for closed/API models and 47.2% for open-weight models. The main failure is default-label collapse: every numeric run is dominated by a single label taking 33-63% of predictions, against an 18.8% majority-class baseline. For 8 of 12 models the default is Thuluth; GPT-4o labels 52.9% of all images as Thuluth although it is only 18.1% of the set. Prompting helps unevenly: visual cues move accuracy by more than 10 points for some models but hurt others, and foregrounding Diwani often relocates the default rather than removing it. Arabic calligraphy recognition is therefore a compact, culturally grounded stress test for VLM robustness and for measuring which visual traditions become legible to automated systems.
• Abstract（参考訳）: アラビア文字はムスリム社会にとって高い文化的な視覚領域であるが、VLMの評価は、その微粒な文字の伝統をテストすることは滅多にない。 我々は、数値、ビジュアルキュー、ダイワニファーストプロンプトを用いて、クリーン化された1,195イメージの6ウェイベンチマークで12のVLMを検査する。 このクローズドセット設定では、クローズド/APIモデルでは60.9%、オープンウェイトモデルでは47.2%である。 主な失敗はデフォルトラベルの崩壊であり、全ての数値は1つのラベルで支配され、予測の33-63%は18.8%が多数派である。 GPT-4oは全画像の52.9%をThuluthと表示しているが、セットの18.1%に過ぎない。 プロンプティングは不均一な助けになる: 視覚的なキューは、一部のモデルでは10ポイント以上精度を下げるが、他のモデルにはダメージを与える。 したがって、アラビア文字の認識は、VLMの堅牢さと、視覚的伝統が自動システムに適合するかどうかを測定するための、コンパクトで文化的に根ざしたストレステストである。

関連論文リスト

• Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
  イスラム金融における規範的多元主義を4つの分類法を用いて研究する。 文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
  論文  参考訳（メタデータ） (2026-09-01T09:46:53Z)
• Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
  サウジアラビア方言の古風なベンチマークを示す。 9カテゴリの分類で466のエラー事例を分類する。 一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
  論文  参考訳（メタデータ） (2026-08-30T19:31:35Z)
• Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation [9.86781125777299]
  マルチモーダルな大言語モデル(MLLM)は、Webページのスクリーンショットをフロントエンドコードに変換するのにますます使われている。 目的のスクリーンショット・コード・イン・ザ・ブランクタスクにおいて、繰り返しWebページパターンがMLLMの精度を損なうかをテストする。
  論文  参考訳（メタデータ） (2026-08-04T13:59:12Z)
• Evaluation of Small Language Models for Arabic Language Processing [0.0]
  この研究では、8つのドメインと10の言語スキルにまたがる240のアラビアテスト項目のベンチマークを紹介した。 全てのモデルは、標準のアラビア文字のみのプロンプトテンプレートを使用して、制御されたゼロショット設定で評価された。 より強いアラビアアライメントとより信頼性の高い指示追従行動を持つモデルは、タスク間でより良く機能する傾向にあった。
  論文  参考訳（メタデータ） (2026-06-19T14:16:13Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
  大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。 BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
  論文  参考訳（メタデータ） (2026-03-16T02:50:43Z)
• Vision Language Models are Biased [7.787036807040035]
  大規模言語モデル(LLM)は、ダウンストリームタスクにおいて、インターネットから大量の事前知識を記憶する。 一般的な主題に関する知識が視覚言語モデル(VLM)の標準的視覚的タスクにおける精度をいかに損なうかを検証する。
  論文  参考訳（メタデータ） (2025-05-29T18:47:58Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。