論文の概要: Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors

• arxiv url: http://arxiv.org/abs/2510.09536v1
• Date: Fri, 10 Oct 2025 16:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:49.401393
• Title: Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors
• Title（参考訳）: 多言語タイポグラフィー誤差に対する大言語モデルのロバスト性の評価
• Authors: Yihong Liu, Raoyuan Zhao, Lena Altinger, Hinrich Schütze, Michael A. Hedderich,
• Abstract要約: 大規模言語モデル(LLM)は、ユーザ入力を持つマルチリンガルな実世界のアプリケーションにますます多くデプロイされている。 ほとんどのベンチマークはクリーンな入力を前提としており、LLMの堅牢性は、ほとんど探索されていないタイプミスに委ねられている。 MulTypoは,言語固有のキーボードレイアウトとタイピング行動に基づいて,ヒューマンライクなエラーをシミュレートする多言語型タイポ生成アルゴリズムである。
• 参考スコア（独自算出の注目度）: 45.37878669586302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed in multilingual, real-world applications with user inputs -- naturally introducing typographical errors (typos). Yet most benchmarks assume clean input, leaving the robustness of LLMs to typos across languages largely underexplored. To address this gap, we introduce MulTypo, a multilingual typo generation algorithm that simulates human-like errors based on language-specific keyboard layouts and typing behavior. We evaluate 18 open-source LLMs across three model families and five downstream tasks spanning language inference, multi-choice question answering, mathematical reasoning, and machine translation tasks. Our results show that typos consistently degrade performance, particularly in generative tasks and those requiring reasoning -- while the natural language inference task is comparatively more robust. Instruction tuning improves clean-input performance but may increase brittleness under noise. We also observe language-dependent robustness: high-resource languages are generally more robust than low-resource ones, and translation from English is more robust than translation into English. Our findings underscore the need for noise-aware training and multilingual robustness evaluation. We make our code and data publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザ入力を持つマルチリンガルな実世界のアプリケーションに徐々にデプロイされている。 しかし、ほとんどのベンチマークはクリーンな入力を前提としており、LLMの頑健さは、ほとんど探索されていない言語をまたいだタイポに委ねられている。 このギャップに対処するために,言語固有のキーボードレイアウトとタイピング行動に基づいて,ヒューマンライクなエラーをシミュレートする多言語型タイポ生成アルゴリズムであるMulTypoを導入する。 3つのモデルファミリーと5つの下流タスクにまたがる18のオープンソースLCMを評価し,言語推論,複数選択質問応答,数学的推論,機械翻訳タスクについて検討した。 この結果から,特に生成的タスクや推論を必要とするタスクにおいて,タイプミスは連続的に性能を低下させるが,自然言語推論タスクは比較的堅牢であることがわかった。 命令チューニングはクリーンな入力性能を改善するが、ノイズ下での脆性を高める可能性がある。 ハイリソース言語は一般的に低リソース言語よりも堅牢であり、英語からの翻訳は英語への翻訳よりも堅牢である。 以上の結果から,ノイズ認識トレーニングと多言語頑健性評価の必要性が示唆された。 コードとデータを公開しています。

関連論文リスト

• Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
  多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。 文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
  論文  参考訳（メタデータ） (2025-05-23T02:46:18Z)
• INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages [25.402797722575805]
  インデックスQAベンチマーク(Indic QA Benchmark)は、インドの主要言語11言語を対象にした、文脈に基づく質問応答のためのデータセットである。 評価の結果,学習データに強い英語バイアスがあるため,低資源言語では弱い性能を示した。 また、入力を英語に翻訳して処理し、その結果をソース言語に変換して出力するTranslate Testパラダイムについても検討した。
  論文  参考訳（メタデータ） (2024-07-18T13:57:16Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。