論文の概要: Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
- arxiv url: http://arxiv.org/abs/2609.23955v1
- Date: Mon, 21 Sep 2026 00:03:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 03:38:27.389711
- Title: Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
- Title(参考訳): 一部の方言は、他の方言より平等である:LLMにおける非プロレッチなアラビア語の方言バイアス
- Abstract要約: NLPにおけるエジプト・アラビアに関する以前の研究は、主に高名なCairene Egypt Arabic (CEA) 方言に焦点を当ててきた。
この研究は、サブ方言の変化が言語技術に与える影響について、さらなる調査の必要性を強調している。
- 参考スコア(独自算出の注目度): 1.5632754424046598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous work on Egyptian Arabic in NLP has focused largely on the prestigious Cairene Egyptian Arabic (CEA) dialect, resulting in a lack of representation for the less prestigious Sa'idi Egyptian Arabic (SEA) dialect both in LLM and resource development. Does this lack of representation influence an LLM's view of the acceptability of SEA (upstream), and does an upstream bias against SEA lead to worse performance (downstream)? We investigate the upstream effect of SEA dialectal features on LLM preferences in a Targeted Syntactic Evaluation (TSE) task which reveals a significant bias against SEA across multiple LLMs. We then analyze the effect of these same features on downstream model performance on MMLU benchmarks and show that models experience a degradation in performance when presented with SEA. This work highlights the need for further exploration on how sub-dialectal variation impacts language technologies.
- Abstract(参考訳): NLPにおけるエジプト・アラビアに関する以前の研究は、高名なCairene Egyptian Arabic (CEA) 方言に主に焦点を合わせており、その結果、LLMと資源開発の両方において、あまり名声の低いSa'idi Egyptian Arabic (SEA) 方言の表現が欠如している。
この表現の欠如は、SEA(上流)の受け入れ可能性に対するLLMの見解に影響を与え、SEAに対する上流バイアスはパフォーマンス(下流)を悪化させるか?
複数のLLMにまたがるSEAに対する有意な偏見を示すTSEタスクにおいて,SEA方言の特徴がLLMの嗜好に及ぼす影響について検討した。
次に,これらの特徴がMMLUベンチマークのダウンストリームモデル性能に与える影響を解析し,SEAを用いた場合のモデルの性能劣化を示す。
この研究は、サブ方言の変化が言語技術に与える影響について、さらなる調査の必要性を強調している。
関連論文リスト
- Why do Large Language Models Fail in Low-resource Translation? Unraveling the Token Dynamics of Large Language Models for Machine Translation [4.506808028203914]
機械翻訳(MT)における大規模言語モデル(LLM)の故障モードを系統的に解析する。
非英語中心のLPは、英語中心のペアよりもCOMETスコアが低いことが分かりました。
LLMの推論は低TAR言語への変換時により多くのトークンを生成する傾向があり、補償機構が示唆される。
論文 参考訳(メタデータ) (2026-05-08T10:05:41Z) - Analysis Of Linguistic Stereotypes in Single and Multi-Agent Generative AI Architectures [4.112801542332816]
本稿では,LLM出力における方言感受性ステレオタイプ生成の既存解析を再現する。
我々は8つのプロンプトテンプレートを定義し、方言バイアスが現れる様々な方法を分析する。
LLM-as-judge 法を用いて結果のバイアスを評価する。
論文 参考訳(メタデータ) (2026-03-19T10:24:51Z) - The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。
本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
論文 参考訳(メタデータ) (2025-04-11T10:17:10Z) - Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。
LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。
これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
論文 参考訳(メタデータ) (2025-03-06T05:15:34Z) - AL-QASIDA: Analyzing LLM Quality and Accuracy Systematically in Dialectal Arabic [43.01550039658917]
方言アラビア(DA)の品種は、言語技術、特に大きな言語モデル(LLM)によって不足している。
本研究では,LLMのDAモデリング能力を,忠実度,理解度,品質,威厳の4次元にわたって評価するフレームワークを提案する。
評価の結果, LLMはDAを生成せず, DAが貧弱であるためではなく, DAを生成できないため, DAを生成できないことが示唆された。
論文 参考訳(メタデータ) (2024-12-05T14:33:00Z) - AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。
湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。
論文 参考訳(メタデータ) (2024-09-17T17:59:25Z) - Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。
本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。
GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
論文 参考訳(メタデータ) (2024-07-05T12:30:02Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。