論文の概要: Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.36214v1
• Date: Mon, 28 Sep 2026 20:13:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.996596
• Title: Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
• Title（参考訳）: 翻訳における損失:大言語モデルのエンドユーザーパフォーマンスに及ぼす非負の英語の影響の測定
• Abstract要約: 大規模言語モデル(LLM)は、英語ではない人々によってますます使われている。 これらのユーザは、流線型話者よりも体系的に低品質な応答を受け取ることが示されている。
• 参考スコア（独自算出の注目度）: 24.96760917966479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used by people whose first language is not English, yet these users have been shown to receive systematically lower-quality responses than fluent speakers. Which specific features of non-native English drive this gap remains unclear, because fluency is itself a composite of mechanical accuracy, vocabulary use, organization, and discourse coherence. Here, we introduce FABLE, a controlled dataset of 190,911 English prompt variants derived from 174K real user prompts for writing-related tasks. Evaluating responses from 34 open-weight LLMs, we find a clear asymmetry; while models do not propagate surface errors such as misspellings into their outputs, models do mirror higher-level rhetorical and lexical qualities present in the user's prompt. Further, the overall quality of responses differs substantially between the least- and most-fluent prompts. These results highlight a key LLM performance disparity for non-native English LLM users, resulting in both lower-quality and less-fluent answers.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、英語ではない人々によってますます使われているが、これらの利用者は流線型話者よりも体系的に低品質の応答を受け取ることが示されている。 なぜなら、流布はそれ自体が機械的正確性、語彙の使用、組織、談話の一貫性の複合であるからである。 ここでは174Kの実際のユーザプロンプトから派生した190,911の英語プロンプトを制御したデータセットであるFABLEを紹介する。 34個のオープンウェイトLCMからの応答を評価すると、明確な非対称性が得られ、モデルが出力にミススペルなどの表面誤差を伝播しないのに対し、モデルはユーザーのプロンプトに存在する高レベルな修辞的および語彙的特性を反映する。 さらに、応答の全体的な品質は、最も流動的なプロンプトと最も流動的なプロンプトとは大きく異なる。 これらの結果は、非ネイティブなLLMユーザにとって重要なLLMパフォーマンスの相違を浮き彫りにして、低品質と低レベルの回答をもたらす。

関連論文リスト

• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users [21.30511809806526]
  本研究では,大規模言語モデル(LLM)の品質が,ユーザ特性に応じて情報精度,真正性,拒絶の点でどのように変化するかを検討する。 本研究は, 英語能力の低い者, 教育水準の低い者, アメリカ合衆国国外出身者に対して, 最先端のLLMにおける望ましくない行動が不均等に起こることを示唆する。
  論文  参考訳（メタデータ） (2024-06-25T17:24:07Z)
• Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance [3.344876133162209]
  大規模言語モデル(LLM)は、大規模コーパスで事前訓練中に取得した情報を提供することに優れる。 本研究では,LLM応答の質がユーザの人口分布によって異なるかを検討する。
  論文  参考訳（メタデータ） (2024-06-25T09:04:21Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。