論文の概要: Evaluating the Usage of African-American Vernacular English in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.21485v1
• Date: Wed, 25 Feb 2026 01:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.668407
• Title: Evaluating the Usage of African-American Vernacular English in Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたアフリカ系アメリカ人英語の活用評価
• Authors: Deja Dunlap, R. Thomas McCoy,
• Abstract要約: アフリカン・アメリカン・バーナクラ・イングリッシュ(AAVE)の言語モデル(LLM)の精度について検討する。 AAVEをネイティブに話す人間の使用法と比較する。 多くの場合、ALMにおけるAAVEの使用法とヒトにおけるAAVEの使用法には大きな違いがあることが判明した。
• 参考スコア（独自算出の注目度）: 5.242425502046959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In AI, most evaluations of natural language understanding tasks are conducted in standardized dialects such as Standard American English (SAE). In this work, we investigate how accurately large language models (LLMs) represent African American Vernacular English (AAVE). We analyze three LLMs to compare their usage of AAVE to the usage of humans who natively speak AAVE. We first analyzed interviews from the Corpus of Regional African American Language and TwitterAAE to identify the typical contexts where people use AAVE grammatical features such as ain't. We then prompted the LLMs to produce text in AAVE and compared the model-generated text to human usage patterns. We find that, in many cases, there are substantial differences between AAVE usage in LLMs and humans: LLMs usually underuse and misuse grammatical features characteristic of AAVE. Furthermore, through sentiment analysis and manual inspection, we found that the models replicated stereotypes about African Americans. These results highlight the need for more diversity in training data and the incorporation of fairness methods to mitigate the perpetuation of stereotypes.
• Abstract（参考訳）: AIでは、自然言語理解タスクのほとんどの評価は、標準アメリカ英語(SAE)のような標準化された方言で行われる。 本研究では,アフリカン・アメリカン・バーナクラ・イングリッシュ (AAVE) の言語モデル (LLM) の精度について検討する。 AAVEをネイティブに話す人間の使用法と比較するために,3つのLSMを分析した。 筆者らはまず,AAVEの文法的特徴を用いた場合の典型的文脈を特定するために,地域アフリカ系アメリカ人言語コーパスとTwitterAAEのインタビューを分析した。 次に、私たちはLCMにAAVEでテキストを作成するように促し、モデル生成したテキストと人間の利用パターンを比較した。 LLMは一般的に, AAVE特有の文法的特徴を誤用し, 誤用する。 さらに、感情分析と手動検査により、これらのモデルがアフリカ系アメリカ人のステレオタイプを再現していることが判明した。 これらの結果は、トレーニングデータの多様性の向上と、ステレオタイプの永続性を緩和する公平性手法の導入の必要性を強調している。

関連論文リスト

• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Finding A Voice: Exploring the Potential of African American Dialect and Voice Generation for Chatbots [9.868899242620637]
  本研究は、アフリカ系アメリカ人コミュニティに役立てるために、アフリカ系アメリカ人英語(AAE)を仮想エージェントに統合することに焦点を当てる。 我々は,大規模言語モデルと音声合成技術を用いて,テキストベースおよび音声チャットボットを開発した。
  論文  参考訳（メタデータ） (2025-01-07T00:07:01Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Investigating African-American Vernacular English in Transformer-Based Text Generation [55.53547556060537]
  ソーシャルメディアはアフリカ系アメリカ人英語(AAVE)の使用を奨励している AAVEテキスト上でのGPT-2の性能は、意図等価な並列AAVE/SAEツイートペアのデータセットを作成することによって検証する。 AAVEテキストはSAEよりもネガティブな感情の分類が多かったが、GPT-2の使用は概して肯定的な感情の発生を増加させている。
  論文  参考訳（メタデータ） (2020-10-06T06:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。