論文の概要: One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2410.11005v1
• Date: Mon, 14 Oct 2024 18:44:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:52.183702
• Title: One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks
• Title（参考訳）: 一つの言語と多くのギャップ:推論課題における大規模言語モデルの弁別公平性とロバスト性の評価
• Authors: Fangru Lin, Shaoguang Mao, Emanuele La Malfa, Valentin Hofmann, Adrian de Wynter, Jing Yao, Si-Qing Chen, Michael Wooldridge, Furu Wei,
• Abstract要約: 本稿では,大言語モデルの公平性と頑健性に関する最初の研究を標準的推論タスクにおける方言に提示する。 我々は、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えるために、AAVEスピーカーを採用。 標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。
• 参考スコア（独自算出の注目度）: 55.35278531907263
• License:
• Abstract: Language is not monolithic. While many benchmarks are used as proxies to systematically estimate Large Language Models' (LLM) performance in real-life tasks, they tend to ignore the nuances of within-language variation and thus fail to model the experience of speakers of minority dialects. Focusing on African American Vernacular English (AAVE), we present the first study on LLMs' fairness and robustness to a dialect in canonical reasoning tasks (algorithm, math, logic, and comprehensive reasoning). We hire AAVE speakers, including experts with computer science backgrounds, to rewrite seven popular benchmarks, such as HumanEval and GSM8K. The result of this effort is ReDial, a dialectal benchmark comprising $1.2K+$ parallel query pairs in Standardized English and AAVE. We use ReDial to evaluate state-of-the-art LLMs, including GPT-4o/4/3.5-turbo, LLaMA-3.1/3, Mistral, and Phi-3. We find that, compared to Standardized English, almost all of these widely used models show significant brittleness and unfairness to queries in AAVE. Furthermore, AAVE queries can degrade performance more substantially than misspelled texts in Standardized English, even when LLMs are more familiar with the AAVE queries. Finally, asking models to rephrase questions in Standardized English does not close the performance gap but generally introduces higher costs. Overall, our findings indicate that LLMs provide unfair service to dialect users in complex reasoning tasks. Code can be found at https://github.com/fangru-lin/redial_dialect_robustness_fairness.git.
• Abstract（参考訳）: 言語はモノリシックではない。 多くのベンチマークは、リアルタイムタスクにおける大規模言語モデル(LLM)のパフォーマンスを体系的に推定するためにプロキシとして使用されるが、言語内変異のニュアンスを無視し、少数方言話者の経験をモデル化することができない傾向にある。 アフリカン・アメリカン・バーナクラ・イングリッシュ (AAVE) に着目し,LLMの公平性と堅牢性に関する最初の研究を標準的推論タスク(アルゴリズム,数学,論理学,包括的推論)における方言に提示する。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 この取り組みの結果、ReDialは標準英語とAAVEの12K+$並列クエリペアからなる弁証的ベンチマークである。 我々はReDialを用いて、GPT-4o/4/3.5-turbo、LLaMA-3.1/3、Mistral、Phi-3を含む最先端のLCMを評価する。 標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。 さらに、AAVEクエリは、ALMがAAVEクエリに精通している場合でも、標準英語のミススペルテキストよりも性能が大幅に低下する可能性がある。 最後に、標準英語で質問を言い換えるようモデルに求めることは、パフォーマンスのギャップを埋めるものではなく、一般的により高いコストをもたらす。 以上の結果から,LLMは複雑な推論タスクにおいて,方言利用者に不公平なサービスを提供していることが示唆された。 コードはhttps://github.com/fangru-lin/redial_dialect_robustness_fairness.gitにある。

関連論文リスト

• Randomly Sampled Language Reasoning Problems Reveal Limits of LLMs [8.146860674148044]
  我々は,データセットリコールのリスクを回避しつつ,モデルの言語理解能力の測定を試みる。 決定論的有限オートマトン(DFA)により認識される言語タスクの多種族をパラメータ化する。 3 状態 DFA の驚くほど単純な設定であっても、LLM は言語認識と合成の両タスクにおいてパラメータ化されていない ngram モデルより劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• AAVENUE: Detecting LLM Biases on NLU Tasks in AAVE via a Novel Benchmark [3.1927733045184885]
  AAVENUE は、AAVE と Standard American English の NLU タスクにおける大きな言語モデル (LLM) のパフォーマンスを評価するためのベンチマークである。 AAVENUE と VALUE の翻訳を,5つの人気のある LLM と,フルーエンシ,BARTScore,品質,コヒーレンス,理解可能性などの総合的な指標を用いて比較した。 評価の結果, LLM は AAVE に翻訳されたバージョンよりも, SAE タスクで一貫した性能が向上し, 固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-08-27T07:56:35Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Spoken Language Intelligence of Large Language Models for Language Learning [3.1964044595140217]
  教育分野における大規模言語モデル(LLM)の有効性を評価することに注力する。 上記のシナリオにおけるLLMの有効性を評価するために,新しい複数選択質問データセットを提案する。 また,ゼロショット法や少数ショット法など,様々なプロンプト技術の影響についても検討する。 異なる大きさのモデルは、音韻学、音韻学、第二言語習得の概念をよく理解しているが、実世界の問題に対する推論には限界がある。
  論文  参考訳（メタデータ） (2023-08-28T12:47:41Z)
• VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
  アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。 言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。 実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
  論文  参考訳（メタデータ） (2022-04-06T18:30:56Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。