論文の概要: Evaluating and Mitigating Linguistic Discrimination in Large Language Models

• arxiv url: http://arxiv.org/abs/2404.18534v2
• Date: Fri, 10 May 2024 07:09:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 17:45:54.553778
• Title: Evaluating and Mitigating Linguistic Discrimination in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける言語識別の評価と緩和
• Authors: Guoliang Dong, Haoyu Wang, Jun Sun, Xinyu Wang,
• Abstract要約: 大規模言語モデル(LLM)は、言語間のトレーニングデータの不均一な分布に起因する言語識別を示す。 類似性に基づく投票方式である LDFighter を提案し,LLM における言語的差別を緩和する。
• 参考スコア（独自算出の注目度）: 7.634003893271555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By training on text in various languages, large language models (LLMs) typically possess multilingual support and demonstrate remarkable capabilities in solving tasks described in different languages. However, LLMs can exhibit linguistic discrimination due to the uneven distribution of training data across languages. That is, LLMs are hard to keep the consistency of responses when faced with the same task but depicted in different languages. In this study, we first explore the consistency in the LLMs' outputs responding to queries in various languages from two aspects: safety and quality. We conduct this analysis with two datasets (AdvBench and NQ) based on four LLMs (Llama2-13b, Gemma-7b, GPT-3.5-turbo and Gemini-pro). The results show that LLMs exhibit stronger human alignment capabilities with queries in English, French, Russian, and Spanish (only 1.04\% of harmful queries successfully jailbreak on average) compared to queries in Bengali, Georgian, Nepali and Maithili (27.7\% of harmful queries jailbreak successfully on average). Moreover, for queries in English, Danish, Czech and Slovenian, LLMs tend to produce responses with a higher quality (with 0.1494 $F_1$ score on average) compared to the other languages. Upon these findings, we propose LDFighter, a similarity-based voting, to mitigate the linguistic discrimination in LLMs. LDFighter ensures consistent service for different language speakers. We evaluate LDFighter with both benign queries and harmful queries. The results show that LDFighter not only significantly reduces the jailbreak success rate but also improve the response quality on average, demonstrating its effectiveness.
• Abstract（参考訳）: 様々な言語でテキストでトレーニングすることで、大規模言語モデル(LLM)は多言語のサポートを持ち、異なる言語で記述されたタスクを解く際、顕著な能力を示す。 しかし、LLMは、言語間のトレーニングデータの不均一な分布のため、言語的差別を示すことができる。 つまり、LLMは、同じタスクに直面しながら異なる言語で表現されている場合、応答の一貫性を維持するのが難しい。 本研究では, 安全性と品質の2つの側面から, 各種言語における問合せに応答するLLMの出力の整合性について検討した。 本研究では,4つのLLM(Llama2-13b,Gemma-7b,GPT-3.5-turbo,Gemini-pro)に基づく2つのデータセット(AdvBench,NQ)を用いて解析を行った。 その結果、LLMは、ベンガル語、グルジア語、ネパール語、マイシリ語のクエリ(平均で27.7%)と比較して、英語、フランス語、ロシア語、スペイン語のクエリ(平均で有害なクエリの1.04\%がジェイルブレイクに成功した)で、より強力な人間のアライメント能力を示すことが示された。 さらに、英語、デンマーク語、チェコ語、スロベニア語のクエリでは、LLMは他の言語と比較して高い品質(平均0.1494$F_1$スコア)のレスポンスを生成する傾向にある。 そこで本研究では,LLMにおける言語的差別を軽減するために,類似性に基づく投票方式であるLDFighterを提案する。 LDFighterは、異なる言語話者に対して一貫したサービスを保証する。 良質なクエリと有害なクエリの両方でLDFighterを評価する。 その結果, LDFighterはジェイルブレイクの成功率を著しく低下させるだけでなく, 平均応答品質も向上し, 有効性を示した。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Better to Ask in English: Evaluation of Large Language Models on English, Low-resource and Cross-Lingual Settings [12.507989493130175]
  GPT-4, Llama 2 および Gemini は, 東南アジアの他の低リソース言語と比較して, 英語での有効性が評価されている。 GPT-4はLlama 2とGeminiを5つのプロンプト設定と全言語で上回ったことを示唆している。
  論文  参考訳（メタデータ） (2024-10-17T02:12:30Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP [17.362068473064717]
  大規模言語モデル(LLM)は、NLPにおいて最も重要なブレークスルーの1つである。 本稿では,ベンガル語での性能をベンチマークするために,LLMを総合的に評価するBenLLM-Evalを紹介する。 実験の結果、ベンガルのNLPタスクではゼロショットLLMは、現在のSOTA微調整モデルよりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-09-22T20:29:34Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Multilingual Large Language Models Are Not (Yet) Code-Switchers [41.47534626749588]
  大規模言語モデル(LLM)は、最近、幅広いタスクにおいて優れた機能を示している。 発話の中で言語を交互に行う習慣は、いまだにほとんど受け継がれていない。 LLMの現在の「多言語主義」は、本質的にはコードスイッチングテキストの習熟度を示唆していない、と我々は主張する。
  論文  参考訳（メタデータ） (2023-05-23T16:50:48Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。