論文の概要: BrailleBench: Investigating Multi-Criteria Braille Comprehension in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.27268v1
- Date: Thu, 27 Aug 2026 15:48:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.475877
- Title: BrailleBench: Investigating Multi-Criteria Braille Comprehension in Large Language Models
- Title（参考訳）: BrailleBench: 大規模言語モデルにおける多言語点字理解の調査
- Abstract要約: 大規模な言語モデル(LLM)を評価するベンチマークであるBrailleBenchを紹介した。
B BrailleBenchは、数学、コモンセンス、マルチホップ質問応答を含む5つのデータセットから5,570のインスタンスを調整する。
その結果,字幕英語能力と点字アクセシビリティの相違が明らかとなった。
- 参考スコア（独自算出の注目度）: 23.689974608953236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Large language models (LLMs) mediate access to knowledge and computational assistance, their capabilities should benefit vulnerable groups in the same way. However, it is unclear whether existing AI systems are inclusive enough for blind and deafblind users to access the same functionality through Braille, whose indicators, contractions, and digital representations introduce distinct requirements for model comprehension. To this end, we introduce BrailleBench, a benchmark for evaluating LLMs in Braille comprehension from different Criteria. BrailleBench aligns 5,570 instances from five datasets, including mathematics, commonsense, and multi-hop question answering across English and Braille Grades 1 and 2. Different configurations are designed to understand whether the systems can comprehend Braille-authored content, express answers in Braille, and complete end-to-end Braille interaction. To ensure the quality and prevent evaluation bias, the benchmark is built through a deterministic, expert-reviewed pipeline via a self-created Braille Toolkit without using any data instances generated by LLMs. We evaluate six representative LLMs from various aspects. The results reveal a persistent gap between print-English capability and Braille accessibility. Braille understanding and expression are asymmetric, where Grade 2 is especially fragile on the input side compared to Grade 1, and fully Braille requests further reduce performance. The experimental observations provide valuable guidance for the development of future Braille AI systems. All related resources in BrailleBench are publicly available for future research.
- Abstract（参考訳）: 大規模言語モデル(LLM)は知識と計算支援へのアクセスを仲介するが、その能力は同じ方法で脆弱なグループに恩恵を与える。
しかし、既存のAIシステムが視覚障害者や聴覚障害者が点字で同じ機能にアクセスするのに十分な包括性を持っているかどうかは不明だ。
この目的のために、異なるクリテリアからの点字理解におけるLLMを評価するためのベンチマークであるBrailleBenchを紹介する。
BrailleBenchは、5つのデータセットから5,570のインスタンスを調整している。
異なる構成は、システムが点字で書かれたコンテンツを理解でき、点字で答えを表現でき、完全なエンドツーエンドの点字対話ができるかどうかを理解するように設計されている。
品質の確保と評価バイアスの防止のために、ベンチマークは、LLMが生成したデータインスタンスを使わずに、自己生成の点字ツールキットを介して、決定論的で専門家がレビューしたパイプラインを通じて構築される。
様々な側面から6つの代表LSMを評価した。
その結果,字幕英語能力と点字アクセシビリティの相違が明らかとなった。
点字理解と表現は非対称であり、グレード2はグレード1に比べて入力側で特に脆弱であり、完全点字は性能をさらに低下させる。
実験的な観察は、将来の点字AIシステムの開発のための貴重なガイダンスを提供する。
BrailleBenchの関連リソースはすべて、将来の研究のために公開されている。
関連論文リスト
- A Pilot Study on Curator-Guided Multilingual Art Description for Blind and Low-Vision Audiences with Small Vision-Language Models [50.00033296815133]
ブラインドとロービジョン(BLV)の観客は、視覚芸術の描写によって守られていない。
パイロットスタディは、ドイツ語、ルーマニア語、セルビア語のためのQwen2.5-VL-3B-インストラクトを用いたキュレーター誘導多言語アート記述について研究している。
論文 参考訳（メタデータ） (2026-05-29T09:47:45Z) - I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs [0.0]
大規模言語モデル(LLM)は多くの言語タスクで強く機能するが、点字のようなアクセシビリティクリティカルなモダリティの能力は未だ不明である。
我々は,人間による注釈付きデータセットを用いて,双方向韓国・ブレイユ翻訳における最先端LLMの評価を行った。
論文 参考訳（メタデータ） (2026-05-07T03:29:17Z) - BrailleLLM: Braille Instruction Tuning with Large Language Models for Braille Domain Tasks [29.63312125264775]
我々は、様々な点字領域の研究を支援するために、英語と中国語の点字混合データセットを構築した。
点字データに適した構文木に基づく拡張手法を提案する。
B BrailleLLMは、BKFTを使用して、統合された点字変換、公式から点字変換、混合テキスト変換を実現する。
論文 参考訳（メタデータ） (2025-10-21T04:33:05Z) - VCB Bench: An Evaluation Benchmark for Audio-Grounded Large Language Model Conversational Agents [53.33704332801441]
大規模音声言語モデル (LALM) は多モード対話システムを大幅に強化した。
既存のベンチマークは主に英語中心であり、合成音声に依存しており、包括的で差別的な評価を欠いている。
我々はVoice Chat Bot Bench(VCB Bench)を紹介します。
論文 参考訳（メタデータ） (2025-10-13T07:45:52Z) - Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。
LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。
MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
論文 参考訳（メタデータ） (2024-11-21T16:33:30Z) - Vision-Braille: An End-to-End Tool for Chinese Braille Image-to-Text Translation [12.027431535689717]
視覚障害者は、読み書きに点字しか使えない大規模なグループである。
点字作家はしばしば音色を省略して空間を節約し、同じ子音と母音の点字が中国語に翻訳されると混乱する。
このプロジェクトは、初めて公開された点字翻訳システムである。
論文 参考訳（メタデータ） (2024-07-08T15:51:37Z) - TouchStone: Evaluating Vision-Language Models by Language Models [91.69776377214814]
本稿では,LVLMの様々な能力を総合的に評価するために,強大な言語モデルを用いた評価手法を提案する。
オープンワールドイメージと質問からなる包括的ビジュアル対話データセットTouchStoneを構築し,5つの主要な機能カテゴリと27のサブタスクをカバーした。
GPT-4のような強力なLVLMは、テキスト機能のみを活用することで、対話品質を効果的に評価できることを実証する。
論文 参考訳（メタデータ） (2023-08-31T17:52:04Z) - VisIT-Bench: A Benchmark for Vision-Language Instruction Following
Inspired by Real-World Use [49.574651930395305]
VisIT-Benchは、命令追従型視覚言語モデルの評価のためのベンチマークである。
提案データセットは592個のテストクエリからなり,それぞれに人手による指示条件付きキャプションを付与した。
人的評価と自動評価の両方を用いて,モデルと参照間の品質ギャップを定量化する。
論文 参考訳（メタデータ） (2023-08-12T15:27:51Z) - Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。
我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
論文 参考訳（メタデータ） (2022-10-09T15:40:13Z) - Optical Braille Recognition using Circular Hough Transform [0.0]
本研究の目的は、盲目の学生の個人文書を翻訳することで、学術機関におけるコミュニケーションギャップを強化することである。
ハフ変換に基づくドット検出機構を提案する。
検出されたドットは、距離ベースのクラスタリングアルゴリズムを使用して点字セルにクラスタリングされる。
54点字スクリプトのデータセットに対するこの手法の包括的な評価は、98.71%の精度で行われている。
論文 参考訳（メタデータ） (2021-07-02T12:15:24Z) - An automated approach to mitigate transcription errors in braille texts
for the Portuguese language [1.0742675209112622]
本稿では、ポルトガル語の点字テキストにおける転写誤りを軽減させる自動アプローチを提案する。
本稿では,その点字表現に基づく単語の最適な対応を提供する辞書と組み合わせた選択関数を提案する。
論文 参考訳（メタデータ） (2021-03-05T20:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。