論文の概要: I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs

• arxiv url: http://arxiv.org/abs/2607.11893v1
• Date: Thu, 07 May 2026 03:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.998346
• Title: I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs
• Title（参考訳）: 申し訳ありませんが、点字で手伝うことはできません。現状のLDMでアクセシビリティーの失敗が発覚
• Abstract要約: 大規模言語モデル(LLM)は多くの言語タスクで強く機能するが、点字のようなアクセシビリティクリティカルなモダリティの能力は未だ不明である。 我々は,人間による注釈付きデータセットを用いて,双方向韓国・ブレイユ翻訳における最先端LLMの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) perform strongly on many language tasks, but their capability in structurally constrained, accessibility-critical modalities such as Braille remains unclear. We evaluate state-of-the-art LLMs on bidirectional Korean-Braille translation using a human-annotated dataset. Despite expectations that multilingual, instruction-tuned models can generalize to Braille via text representations, we find consistently poor, unstable outputs and substantial disagreement with human judgments. These results point to missing Braille-aware tokenization and weak alignment between Korean and Braille patterns. In contrast, supervised fine-tuning of a small model (T5-small) on the same data yields large and stable gains over zero-shot and prompted LLM baselines across standard metrics (SacreBLEU, ChrF++, CER, BLEU, ROUGE-L, METEOR, CIDEr). Our findings reveal a systematic limitation of current LLMs and demonstrate the effectiveness of modest task-specific supervision.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの言語タスクで強く機能するが、ブライルのような構造的に制約されたアクセシビリティクリティカルなモダリティの能力はいまだに不明である。 我々は,人間による注釈付きデータセットを用いて,双方向韓国・ブレイユ翻訳における最先端LLMの評価を行った。 多言語で命令調整されたモデルがテキスト表現によって点字に一般化できるという期待にもかかわらず、我々は一貫して貧弱で不安定な出力と、人間の判断とはかなりの相違を見出した。 これらの結果は、点字を意識したトークン化の欠如と、韓国と点字のパターンの整合性の弱さを示唆している。 対照的に、同じデータ上の小さなモデル(T5-small)の教師付き微調整は、ゼロショットよりも大きく安定したゲインをもたらし、標準メトリクス(SacreBLEU, ChrF++, CER, BLEU, ROUGE-L, METEOR, CIDEr)にわたってLDMベースラインを誘導する。 本研究は,現在のLCMの体系的制限を明らかにし,タスク固有監督の有効性を実証するものである。

関連論文リスト

• BrailleBench: Investigating Multi-Criteria Braille Comprehension in Large Language Models [23.689974608953236]
  大規模な言語モデル(LLM)を評価するベンチマークであるBrailleBenchを紹介した。 B BrailleBenchは、数学、コモンセンス、マルチホップ質問応答を含む5つのデータセットから5,570のインスタンスを調整する。 その結果,字幕英語能力と点字アクセシビリティの相違が明らかとなった。
  論文  参考訳（メタデータ） (2026-08-27T15:48:39Z)
• LLMs as annotators of credibility assessment in Danish asylum decisions: evaluating classification performance and errors beyond aggregated metrics [21.604030114864642]
  オフザシェルフの大規模言語モデル(LLM)は、テキストアノテーションの自動化にますます利用されている。 デンマークのテキスト分類データセットであるRAB-Credを紹介した。 本研究は,21個のオープンウェイトモデルと30個のシステム・ユーザ・プロンプトの組み合わせをベンチマークし,ゼロショットと少数ショットの分類におけるモデルとプロンプトの選択の効果を体系的に評価する。
  論文  参考訳（メタデータ） (2026-05-13T12:07:47Z)
• Multilingual Cognitive Impairment Detection in the Era of Foundation Models [6.141505279958125]
  英語,スロベニア語,韓国語における音声の書き起こしから認知障害(CI)分類を評価する。 直接分類器として用いられるゼロショット大言語モデル(LLM)を3つの入力条件下で比較する。
  論文  参考訳（メタデータ） (2026-04-08T07:22:43Z)
• Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation [49.82863380286994]
  In-context Learningは、低リソース機械翻訳にLarge Language Modelsを適用する新しい方法を提供するかもしれない。 本研究では,Long-context モデルを用いた数千例のサンプルに対して,数ショット設定以上の低リソース機械翻訳ICLのスケーリングについて検討する。 JavaneseとSundaneseに関する我々の実験は、追加のコンテキストからのゲインがすばやく飽和し、最大コンテキストウィンドウの近くで分解可能であることを示している。
  論文  参考訳（メタデータ） (2026-02-04T17:02:22Z)
• BrailleLLM: Braille Instruction Tuning with Large Language Models for Braille Domain Tasks [29.63312125264775]
  我々は、様々な点字領域の研究を支援するために、英語と中国語の点字混合データセットを構築した。 点字データに適した構文木に基づく拡張手法を提案する。 B BrailleLLMは、BKFTを使用して、統合された点字変換、公式から点字変換、混合テキスト変換を実現する。
  論文  参考訳（メタデータ） (2025-10-21T04:33:05Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Self-Augmented In-Context Learning for Unsupervised Word Translation [23.495503962839337]
  大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。 教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。 提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-15T15:43:05Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。