論文の概要: Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties

• arxiv url: http://arxiv.org/abs/2411.10954v1
• Date: Sun, 17 Nov 2024 03:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:57.661632
• Title: Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties
• Title（参考訳）: 方言の毒性検出:LLM-as-a-Judge整合性の評価
• Authors: Fahim Faisal, Md Mushfiqur Rahman, Antonios Anastasopoulos,
• Abstract要約: 現代のLSMによる毒性の検出に方言の違いがどう影響するかについては、体系的な研究はほとんど行われていない。 10の言語クラスタと60の変種をカバーする合成変換と人間による翻訳により、多言語データセットを作成する。 次に,多言語,方言,LLM-ヒト間の毒性を評価できる3つのLSMを評価した。
• 参考スコア（独自算出の注目度）: 23.777874316083984
• License:
• Abstract: There has been little systematic study on how dialectal differences affect toxicity detection by modern LLMs. Furthermore, although using LLMs as evaluators ("LLM-as-a-judge") is a growing research area, their sensitivity to dialectal nuances is still underexplored and requires more focused attention. In this paper, we address these gaps through a comprehensive toxicity evaluation of LLMs across diverse dialects. We create a multi-dialect dataset through synthetic transformations and human-assisted translations, covering 10 language clusters and 60 varieties. We then evaluated three LLMs on their ability to assess toxicity across multilingual, dialectal, and LLM-human consistency. Our findings show that LLMs are sensitive in handling both multilingual and dialectal variations. However, if we have to rank the consistency, the weakest area is LLM-human agreement, followed by dialectal consistency. Code repository: \url{https://github.com/ffaisal93/dialect_toxicity_llm_judge}
• Abstract（参考訳）: 現代のLSMによる毒性の検出に方言の違いがどう影響するかについては、体系的な研究はほとんど行われていない。 さらに、LLM-as-a-judge (LLM-as-a-judge) を評価指標として用いることは研究分野として発展しているが、方言のニュアンスに対する感受性はまだ未熟であり、より注意が必要である。 本稿では,様々な方言におけるLSMの包括的毒性評価を通じて,これらのギャップに対処する。 10の言語クラスタと60の変種をカバーする合成変換と人間による翻訳により、多言語データセットを作成する。 次に,多言語,方言,LLM-ヒト間の毒性を評価できる3つのLSMを評価した。 以上の結果から,LLMは多言語・方言の差異に敏感であることが示唆された。 しかしながら、一貫性をランク付けしなければならない場合、最も弱い領域はLLM-人間合意であり、次いで方言整合性である。 コードリポジトリ: \url{https://github.com/ffaisal93/dialect_toxicity_llm_judge}

関連論文リスト

• Guardians of Discourse: Evaluating LLMs on Multilingual Offensive Language Detection [10.129235204880443]
  非英語文脈におけるタスクに対する異なるプロンプト言語と拡張翻訳データの影響を評価する。 本稿では, LLMにおける固有バイアスと, センシティブなトピックに関する誤予測におけるデータセットの影響について論じる。
  論文  参考訳（メタデータ） (2024-10-21T04:08:16Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Unveiling Linguistic Regions in Large Language Models [49.298360366468934]
  大規模言語モデル (LLM) は言語間アライメントと一般化能力を示す。 本稿では,LLMの言語能力に関するいくつかの調査を行う。
  論文  参考訳（メタデータ） (2024-02-22T16:56:13Z)
• Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
  本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2024-02-16T08:10:34Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• Systematic Rectification of Language Models via Dead-end Analysis [34.37598463459319]
  大型言語モデル(LLM)は有害な談話を生成するためにプッシュされる。 ここでは、完了した談話が最終的に有毒と考えられる確率について、デトックス化を中心とする。 我々の手法は整流化と呼ばれ、別個のモデルを用いるが、デトキシ化には著しく小さいモデルを用いる。
  論文  参考訳（メタデータ） (2023-02-27T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。