論文の概要: Learning to Read Braille: Benchmarking and Improving Braille Recognition Capabilities of VLMs

• arxiv url: http://arxiv.org/abs/2610.36195v2
• Date: Wed, 28 Oct 2026 20:10:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.509588
• Title: Learning to Read Braille: Benchmarking and Improving Braille Recognition Capabilities of VLMs
• Title（参考訳）: 点字読解の学習:VLMの点字認識能力のベンチマークと改善
• Abstract要約: 画像から点字を読むためのベンチマークである点字ベンチを紹介する。 我々は,プロプライエタリ,オープンウェイト,OCR特化,ツール支援型マルチモーダルシステムを評価した。 合成データに基づいてトレーニングした2B VLMモデルでは,G1では87%,G2 BrailleBenchでは61%の精度で一致した。
• 参考スコア（独自算出の注目度）: 11.871109511607779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite rapid progress in visual understanding and document transcription, modern vision-language models (VLMs) struggle with a fundamental accessibility task: reading Braille from images. We introduce BrailleBench, a manually curated benchmark of 259 real-world Grade-1 and Grade-2 Braille images. We evaluate proprietary, open-weight, OCR-specialized, and tool-assisted multimodal systems and find that standalone general-purpose models perform poorly at directly transcribing Braille images, whereas tool-assisted systems perform much better. We design a synthetic Braille generation pipeline with diverse layouts and image perturbations. A 2B VLM model trained on our synthetic data reaches 87% exact match on Grade-1 and 61% on Grade-2 BrailleBench, outperforming standalone VLMs and achieving the highest Grade-2 exact match score among the evaluated systems. We further show that high accuracy on synthetic validation data does not guarantee high accuracy on real photographs in our experiments: models trained on prior synthetic data reach up to 96% on their synthetic validation set but at most 3.26% on Grade-1 BrailleBench. Our results identify an accessibility-relevant capability gap in multimodal systems and show that targeted synthetic supervision can improve real-world Braille transcription.
• Abstract（参考訳）: 視覚理解と文書の書き起こしの急速な進歩にもかかわらず、現代の視覚言語モデル(VLM)は、画像から点字を読むという基本的なアクセシビリティータスクに苦慮している。 実世界のグレード1とグレード2の点字画像を手作業でキュレートしたベンチマークであるBrailleBenchを紹介する。 我々は、プロプライエタリ、オープンウェイト、OCR特化、およびツールアシストマルチモーダルシステムを評価し、スタンドアロンの汎用モデルは点字画像を直接書き起こすのに不十分であるのに対して、ツールアシストシステムはより優れた性能を示す。 多様なレイアウトと画像摂動を持つ合成点字生成パイプラインを設計する。 また,2B VLMモデルでは,2B VLMの精度が87%,2級点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字点字 さらに, 本実験では, 合成検証データの高精度化が実際の写真に対して高い精度を保証していないことが確認された。 先行合成データで訓練されたモデルは, 合成検証セットで最大96%に達するが, 最高3.26%はグレード-1点字ベンチで到達する。 本研究は,マルチモーダルシステムにおけるアクセシビリティ関連能力ギャップを同定し,目的とする合成監督が実世界の点字転写を改善することを示す。

関連論文リスト

• BrailleBench: Investigating Multi-Criteria Braille Comprehension in Large Language Models [23.689974608953236]
  大規模な言語モデル(LLM)を評価するベンチマークであるBrailleBenchを紹介した。 B BrailleBenchは、数学、コモンセンス、マルチホップ質問応答を含む5つのデータセットから5,570のインスタンスを調整する。 その結果,字幕英語能力と点字アクセシビリティの相違が明らかとなった。
  論文  参考訳（メタデータ） (2026-08-27T15:48:39Z)
• I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs [0.0]
  大規模言語モデル(LLM)は多くの言語タスクで強く機能するが、点字のようなアクセシビリティクリティカルなモダリティの能力は未だ不明である。 我々は,人間による注釈付きデータセットを用いて,双方向韓国・ブレイユ翻訳における最先端LLMの評価を行った。
  論文  参考訳（メタデータ） (2026-05-07T03:29:17Z)
• BrailleLLM: Braille Instruction Tuning with Large Language Models for Braille Domain Tasks [29.63312125264775]
  我々は、様々な点字領域の研究を支援するために、英語と中国語の点字混合データセットを構築した。 点字データに適した構文木に基づく拡張手法を提案する。 B BrailleLLMは、BKFTを使用して、統合された点字変換、公式から点字変換、混合テキスト変換を実現する。
  論文  参考訳（メタデータ） (2025-10-21T04:33:05Z)
• Should VLMs be Pre-trained with Image Data? [54.50406730361859]
  画像とテキストデータの混在による事前学習により、モデルが視覚言語タスクでより良いパフォーマンスを発揮できることがわかった。 平均6つの多様なタスクにおいて、1Bモデルに対して、事前学習による視覚トークンの80%を導入すると、完全に事前訓練されたモデルに視覚トークンを導入するよりも平均2%改善されることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T17:58:19Z)
• Vision-Language Models are Strong Noisy Label Detectors [76.07846780815794]
  本稿では、視覚言語モデルに適応するためのDeFTと呼ばれるDenoising Fine-Tuningフレームワークを提案する。 DeFTは、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴のロバストなアライメントを利用して、ノイズの多いラベルを抽出する。 7つの合成および実世界のノイズデータセットの実験結果から,ノイズラベル検出と画像分類の両方においてDeFTの有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-29T12:55:17Z)
• Bridging the Gap Between End-to-End and Two-Step Text Spotting [88.14552991115207]
  ブリッジングテキストスポッティングは、2段階のメソッドでエラーの蓄積と最適化性能の問題を解決する新しいアプローチである。 提案手法の有効性を広範囲な実験により実証する。
  論文  参考訳（メタデータ） (2024-04-06T13:14:04Z)
• Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
  密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。 本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。 Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2024-01-22T16:09:47Z)
• Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
  視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。 我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
  論文  参考訳（メタデータ） (2022-10-09T15:40:13Z)
• Optical Braille Recognition using Circular Hough Transform [0.0]
  本研究の目的は、盲目の学生の個人文書を翻訳することで、学術機関におけるコミュニケーションギャップを強化することである。 ハフ変換に基づくドット検出機構を提案する。 検出されたドットは、距離ベースのクラスタリングアルゴリズムを使用して点字セルにクラスタリングされる。 54点字スクリプトのデータセットに対するこの手法の包括的な評価は、98.71%の精度で行われている。
  論文  参考訳（メタデータ） (2021-07-02T12:15:24Z)
• An automated approach to mitigate transcription errors in braille texts for the Portuguese language [1.0742675209112622]
  本稿では、ポルトガル語の点字テキストにおける転写誤りを軽減させる自動アプローチを提案する。 本稿では,その点字表現に基づく単語の最適な対応を提供する辞書と組み合わせた選択関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T20:41:14Z)
• Automatic Counting and Identification of Train Wagons Based on Computer Vision and Deep Learning [70.84106972725917]
  提案手法は費用対効果が高く,RFIDに基づく解を容易に置き換えることができる。 このシステムは、識別コードに損傷があるため、列車のワゴンの一部を自動的に拒絶することができる。
  論文  参考訳（メタデータ） (2020-10-30T14:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。