論文の概要: Individual and Combined Effects of English as a Second Language and Typos on LLM Performance

• arxiv url: http://arxiv.org/abs/2604.04723v1
• Date: Mon, 06 Apr 2026 14:46:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.2312
• Title: Individual and Combined Effects of English as a Second Language and Typos on LLM Performance
• Title（参考訳）: 第二言語としての英語とタイポの個人的・複合的効果がLLM性能に及ぼす影響
• Authors: Serena Liu, Yutong Yang, Prisha Sheth, Weixuan Dong, Mingjiao Diao, Xinru Zhu, Nikhil Banga, Oscar Melendez, Arnav Sharma, Minda Zhao, Marina Lin, Mengyu Wang,
• Abstract要約: 標準英語入力を8つのESL変種に変換し、MulTypoを用いてタイポスを3つのレベル(低、中、重度)で注入する。 ESLの変動とタイポが組み合わさると、どちらの要因よりもパフォーマンスが低下することがわかった。 これらの結果から,クリーン・スタンダード・イングリッシュの評価は実世界のモデル性能を過大評価する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 3.4884550043392175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are used globally, and because much of their training data is in English, they typically perform best on English inputs. As a result, many non-native English speakers interact with them in English as a second language (ESL), and these inputs often contain typographical errors. Prior work has largely studied the effects of ESL variation and typographical errors separately, even though they often co-occur in real-world use. In this study, we use the Trans-EnV framework to transform standard English inputs into eight ESL variants and apply MulTypo to inject typos at three levels: low, moderate, and severe. We find that combining ESL variation and typos generally leads to larger performance drops than either factor alone, though the combined effect is not simply additive. This pattern is clearest on closed-ended tasks, where performance degradation can be characterized more consistently across ESL variants and typo levels, while results on open-ended tasks are more mixed. Overall, these findings suggest that evaluations on clean standard English may overestimate real-world model performance, and that evaluating ESL variation and typographical errors in isolation does not fully capture model behavior in realistic settings.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は世界中で使われており、トレーニングデータの多くは英語で書かれているため、通常は英語の入力で最高に機能する。 その結果、非ネイティブな英語話者の多くは、第二言語(ESL)として英語でそれらと対話し、これらの入力は、しばしばタイポグラフィーの誤りを含む。 以前の研究は、ESLの変動とタイポグラフィーの誤りの影響を、現実世界でしばしば共起しているにもかかわらず、別々に研究してきた。 本研究では、Trans-EnVフレームワークを用いて標準英語入力を8つのESL変種に変換し、MulTypoを用いてタイポを3つのレベル(低、中、重)で注入する。 ESLの変動とタイポスの組み合わせは、一般的にどちらの要因よりも大きな性能低下をもたらすが、その組み合わせ効果は単に加法的ではない。 このパターンは閉じたタスクにおいて最も明確であり、ESLの変種やタイポレベルのパフォーマンス劣化をより一貫して特徴付けることができる一方、オープンなタスクの結果はより混合される。 以上の結果から, クリーン・スタンダード・イングリッシュによる評価は実世界のモデル性能を過大評価する可能性があり, ESLの変動とタイポグラフィ的誤差を独立に評価しても, 現実的な環境下でのモデル行動を完全に把握できないことが示唆された。

関連論文リスト

• Adapting Language Balance in Code-Switching Speech [60.296574524609575]
  大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。 我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。 アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
  論文  参考訳（メタデータ） (2025-10-21T15:23:55Z)
• Language Confusion Gate: Language-Aware Decoding Through Model Self-Distillation [50.93756215410832]
  本稿では,デコード時にトークンをフィルタリングする軽量なプラグインソリューションであるLanguage Confusion Gate (LCG)を紹介する。 LCGは、標準調整自己蒸留を用いて訓練され、適切な言語ファミリーを予測し、必要に応じてマスクを適用する。
  論文  参考訳（メタデータ） (2025-10-20T14:02:37Z)
• Controlling Language Confusion in Multilingual LLMs [0.0]
  大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 本研究では,標準SFTに不要な出力スタイルのペナルティを付加するORPOを適用し,言語に精通した世代を効果的に抑制する。
  論文  参考訳（メタデータ） (2025-05-25T12:15:31Z)
• How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario [72.02391485962127]
  音声認識(ASR)における音声自己監視学習(SSL)モデルの性能向上 低リソース言語 ASR では、事前訓練された言語と低リソース言語のドメインミスマッチ問題に遭遇する。 これらの問題に対処するためのアダプタに基づく従来型の効率的な微調整手法を拡張した。
  論文  参考訳（メタデータ） (2024-11-27T10:51:00Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Mitigating the Language Mismatch and Repetition Issues in LLM-based Machine Translation via Model Editing [39.375342978538654]
  機械翻訳を行うためにLLM(Large Language Models)を活用することに注力する。 誤りの2つのパターンが頻繁に発生し、言語ミスマッチと繰り返しの翻訳品質に劇的な影響を与えていることを観察する。 モデル編集手法を活用することにより,これらの2つの問題を緩和する可能性について検討する。
  論文  参考訳（メタデータ） (2024-10-09T16:51:21Z)
• Robustness of Large Language Models to Perturbations in Text [2.2734015467359217]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。