論文の概要: Personalisation or Prejudice? Addressing Geographic Bias in Hate Speech Detection using Debias Tuning in Large Language Models
- arxiv url: http://arxiv.org/abs/2505.02252v1
- Date: Sun, 04 May 2025 21:22:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.51053
- Title: Personalisation or Prejudice? Addressing Geographic Bias in Hate Speech Detection using Debias Tuning in Large Language Models
- Title(参考訳): 個人化・偏見 : 大規模言語モデルにおけるデバイアスチューニングを用いたヘイトスピーチ検出における地理バイアスの対応
- Authors: Paloma Piot, Patricia Martín-Rodilla, Javier Parapar,
- Abstract要約: LLM(Commercial Large Language Models)は最近、パーソナライズされた応答を提供するためにメモリ機能を組み込んだ。
本稿では,異なる個人化シナリオにおいて,その振る舞いを理解するために,最先端のLCMについて検討する。
我々は、各モデルに対して、国固有のペルソナを仮定し、ヘイトスピーチ検出に異なる言語を使用するよう促す。
以上の結果から, 文脈のパーソナライゼーションがLSMの反応に大きく影響していることが判明した。
- 参考スコア(独自算出の注目度): 2.1656586298989793
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Commercial Large Language Models (LLMs) have recently incorporated memory features to deliver personalised responses. This memory retains details such as user demographics and individual characteristics, allowing LLMs to adjust their behaviour based on personal information. However, the impact of integrating personalised information into the context has not been thoroughly assessed, leading to questions about its influence on LLM behaviour. Personalisation can be challenging, particularly with sensitive topics. In this paper, we examine various state-of-the-art LLMs to understand their behaviour in different personalisation scenarios, specifically focusing on hate speech. We prompt the models to assume country-specific personas and use different languages for hate speech detection. Our findings reveal that context personalisation significantly influences LLMs' responses in this sensitive area. To mitigate these unwanted biases, we fine-tune the LLMs by penalising inconsistent hate speech classifications made with and without country or language-specific context. The refined models demonstrate improved performance in both personalised contexts and when no context is provided.
- Abstract(参考訳): LLM(Commercial Large Language Models)は最近、パーソナライズされた応答を提供するためにメモリ機能を組み込んだ。
このメモリは、ユーザ人口統計や個々の特性などの詳細を保持しており、LLMは個人情報に基づいて行動を調整することができる。
しかし、パーソナライズされた情報を文脈に組み込むことによる影響は十分に評価されておらず、LCMの行動への影響について疑問が呈されている。
特にセンシティブなトピックでは、パーソナライゼーションは難しい。
本稿では,さまざまな個人化シナリオにおいて,ヘイトスピーチに焦点をあてて,その振る舞いを理解するために,最先端のLLMについて検討する。
我々は、各モデルに対して、国固有のペルソナを仮定し、ヘイトスピーチ検出に異なる言語を使用するよう促す。
以上の結果から, 文脈のパーソナライゼーションがLSMの反応に大きく影響していることが判明した。
これらの不必要なバイアスを軽減するために、国や言語固有の文脈で作られた無矛盾なヘイトスピーチ分類を解析することにより、LSMを微調整する。
洗練されたモデルでは、パーソナライズされたコンテキストと、コンテキストが提供されない場合の両方のパフォーマンスが改善されている。
関連論文リスト
- Human and LLM Biases in Hate Speech Annotations: A Socio-Demographic Analysis of Annotators and Targets [0.6918368994425961]
我々は、アノテータとターゲットの両方の社会デマトグラフィー情報を豊富なデータセットで活用する。
分析の結果,その強度と有病率に基づいて定量的に記述し,特徴付ける広範囲なバイアスの存在が明らかになった。
私たちの研究は、ヘイトスピーチアノテーションにおける人間のバイアスに関する新しい、そして、AI駆動のヘイトスピーチ検出システムの設計に関する新たな洞察を提供する。
論文 参考訳(メタデータ) (2024-10-10T14:48:57Z) - Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。
追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文 参考訳(メタデータ) (2024-10-03T16:43:17Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳(メタデータ) (2024-08-14T16:55:06Z) - Modulating Language Model Experiences through Frictions [56.17593192325438]
言語モデルの過度な消費は、短期において未確認エラーを伝播し、長期的な批判的思考のために人間の能力を損なうリスクを出力する。
行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。
論文 参考訳(メタデータ) (2024-06-24T16:31:11Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳(メタデータ) (2024-03-12T12:10:18Z) - Personalized Large Language Models [1.0881867638866944]
本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。
その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。
感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-02-14T15:55:30Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。