論文の概要: Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance

• arxiv url: http://arxiv.org/abs/2406.17385v2
• Date: Mon, 07 Oct 2024 15:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:39:41.439721
• Title: Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance
• Title（参考訳）: ネイティブデザインバイアス:英語のネイティブ性が言語モデルのパフォーマンスに与える影響についての研究
• Authors: Manon Reusens, Philipp Borchert, Jochen De Weerdt, Bart Baesens,
• Abstract要約: 大規模言語モデル(LLM)は、大規模コーパスで事前訓練中に取得した情報を提供することに優れる。 本研究では,LLM応答の質がユーザの人口分布によって異なるかを検討する。
• 参考スコア（独自算出の注目度）: 3.344876133162209
• License:
• Abstract: Large Language Models (LLMs) excel at providing information acquired during pretraining on large-scale corpora and following instructions through user prompts. This study investigates whether the quality of LLM responses varies depending on the demographic profile of users. Considering English as the global lingua franca, along with the diversity of its dialects among speakers of different native languages, we explore whether non-native English speakers receive lower-quality or even factually incorrect responses from LLMs more frequently. Our results show that performance discrepancies occur when LLMs are prompted by native versus non-native English speakers and persist when comparing native speakers from Western countries with others. Additionally, we find a strong anchoring effect when the model recognizes or is made aware of the user's nativeness, which further degrades the response quality when interacting with non-native speakers. Our analysis is based on a newly collected dataset with over 12,000 unique annotations from 124 annotators, including information on their native language and English proficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模コーパスの事前訓練とユーザプロンプトによる指示に従う際に得られる情報を提供する。 本研究では,LLM応答の質がユーザの人口分布によって異なるかを検討する。 英語をグローバル言語として考えると、異なる母国語話者の方言の多様性とともに、非母国英語話者がLLMからより低い品質または実際的誤りの反応を受けるかどうかを探索する。 この結果から,LLMが母国英語話者と母国英語話者から誘導され,母国英語話者と他国の母国英語話者を比較した場合に,性能の相違が生じていることが示唆された。 さらに,モデルがユーザのネイティブ性を認識あるいは認識した場合のアンカー効果も強く,非ネイティブ話者との対話時の応答品質をさらに低下させる。 我々の分析は、124のアノテーションから12,000以上のユニークなアノテーションが得られた、新たに収集されたデータセットに基づいており、母国語と英語の習熟度に関する情報を含んでいる。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
  本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。 本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-06-13T08:16:52Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models [12.700783525558721]
  GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。 本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T15:15:39Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Towards a Deep Multi-layered Dialectal Language Analysis: A Case Study of African-American English [0.20305676256390934]
  メインストリーム・アメリカン・イングリッシュ(MAE)で訓練された音声タグは、アフリカ系アメリカ人・イングリッシュ(AAE)に適用した場合、解釈不能な結果をもたらす 本研究では,AAE話者の行動と言語利用の理解を深めるために,ループ型ヒューマン・イン・ザ・ループのパラダイムを取り入れた。
  論文  参考訳（メタデータ） (2022-06-03T01:05:58Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。