論文の概要: Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance
- arxiv url: http://arxiv.org/abs/2406.17385v1
- Date: Tue, 25 Jun 2024 09:04:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 15:01:42.296878
- Title: Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance
- Title（参考訳）: ネイティブデザインバイアス:英語のネイティブ性が言語モデルのパフォーマンスに与える影響についての研究
- Authors: Manon Reusens, Philipp Borchert, Jochen De Weerdt, Bart Baesens,
- Abstract要約: 大規模言語モデル(LLM)は、大規模コーパスで事前訓練中に取得した情報を提供することに優れる。
本研究では,LLM応答の質がユーザの人口分布によって異なるかを検討する。
- 参考スコア（独自算出の注目度）: 3.344876133162209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) excel at providing information acquired during pretraining on large-scale corpora and following instructions through user prompts. This study investigates whether the quality of LLM responses varies depending on the demographic profile of users. Considering English as the global lingua franca, along with the diversity of its dialects among speakers of different native languages, we explore whether non-native English speakers receive lower-quality or even factually incorrect responses from LLMs more frequently. Our results show that performance discrepancies occur when LLMs are prompted by native versus non-native English speakers and persist when comparing native speakers from Western countries with others. Additionally, we find a strong anchoring effect when the model recognizes or is made aware of the user's nativeness, which further degrades the response quality when interacting with non-native speakers. Our analysis is based on a newly collected dataset with over 12,000 unique annotations from 124 annotators, including information on their native language and English proficiency.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模コーパスの事前訓練とユーザプロンプトによる指示に従う際に得られる情報を提供する。
本研究では,LLM応答の質がユーザの人口分布によって異なるかを検討する。
英語をグローバル言語として考えると、異なる母国語話者の方言の多様性とともに、非母国英語話者がLLMからより低い品質または実際的誤りの反応を受けるかどうかを探索する。
この結果から,LLMが母国英語話者と母国英語話者から誘導され,母国英語話者と他国の母国英語話者を比較した場合に,性能の相違が生じていることが示唆された。
さらに,モデルがユーザのネイティブ性を認識あるいは認識した場合のアンカー効果も強く,非ネイティブ話者との対話時の応答品質をさらに低下させる。
我々の分析は、124のアノテーションから12,000以上のユニークなアノテーションが得られた、新たに収集されたデータセットに基づいており、母国語と英語の習熟度に関する情報を含んでいる。
関連論文リスト
- Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。
英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。
単言語モデルと比較して,多言語モデルの性能を評価する。
論文 参考訳（メタデータ） (2024-06-25T15:02:32Z) - An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。
本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2024-06-13T08:16:52Z) - Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。
提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-08T00:18:56Z) - Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-02-28T15:15:39Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳（メタデータ） (2023-12-26T18:38:54Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳（メタデータ） (2023-10-23T17:42:01Z) - Towards a Deep Multi-layered Dialectal Language Analysis: A Case Study
of African-American English [0.20305676256390934]
メインストリーム・アメリカン・イングリッシュ(MAE)で訓練された音声タグは、アフリカ系アメリカ人・イングリッシュ(AAE)に適用した場合、解釈不能な結果をもたらす
本研究では,AAE話者の行動と言語利用の理解を深めるために,ループ型ヒューマン・イン・ザ・ループのパラダイムを取り入れた。
論文 参考訳（メタデータ） (2022-06-03T01:05:58Z) - Language Contamination Explains the Cross-lingual Capabilities of
English Pretrained Models [79.38278330678965]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。
これにより、大規模なデータセットで数十億の外国語トークンが生成される。
そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文 参考訳（メタデータ） (2022-04-17T23:56:54Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳（メタデータ） (2021-10-31T22:48:30Z) - Can Character-based Language Models Improve Downstream Task Performance
in Low-Resource and Noisy Language Scenarios? [0.0]
我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。
ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
論文 参考訳（メタデータ） (2021-10-26T14:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。