論文の概要: Detecting Bias in Large Language Models: Fine-tuned KcBERT

• arxiv url: http://arxiv.org/abs/2403.10774v1
• Date: Sat, 16 Mar 2024 02:27:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 21:54:53.882426
• Title: Detecting Bias in Large Language Models: Fine-tuned KcBERT
• Title（参考訳）: 大規模言語モデルにおけるバイアス検出:微調整KcBERT
• Authors: J. K. Lee, T. M. Chung,
• Abstract要約: 我々は、このような害を社会的な偏見として定義し、韓国のコメントに微調整されたモデルで、民族、性別、人種的偏見を評価する。 我々の貢献は、言語に依存した特徴により、韓国語モデルに社会的バイアスが存在することを示すことである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of large language models (LLMs) has enabled natural language processing capabilities similar to those of humans, and LLMs are being widely utilized across various societal domains such as education and healthcare. While the versatility of these models has increased, they have the potential to generate subjective and normative language, leading to discriminatory treatment or outcomes among social groups, especially due to online offensive language. In this paper, we define such harm as societal bias and assess ethnic, gender, and racial biases in a model fine-tuned with Korean comments using Bidirectional Encoder Representations from Transformers (KcBERT) and KOLD data through template-based Masked Language Modeling (MLM). To quantitatively evaluate biases, we employ LPBS and CBS metrics. Compared to KcBERT, the fine-tuned model shows a reduction in ethnic bias but demonstrates significant changes in gender and racial biases. Based on these results, we propose two methods to mitigate societal bias. Firstly, a data balancing approach during the pre-training phase adjusts the uniformity of data by aligning the distribution of the occurrences of specific words and converting surrounding harmful words into non-harmful words. Secondly, during the in-training phase, we apply Debiasing Regularization by adjusting dropout and regularization, confirming a decrease in training loss. Our contribution lies in demonstrating that societal bias exists in Korean language models due to language-dependent characteristics.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、自然言語処理能力は人間のものと類似し、LLMは教育や医療といった様々な社会的領域で広く活用されている。 これらのモデルの汎用性は増大しているが、主観的かつ規範的な言語を生成する可能性があり、特にオンライン攻撃的な言語によって、社会集団間の差別的治療や結果をもたらす。 本稿では,社会的な偏見や民族的,性別的,人種的偏見などの害を,テンプレートベースのマスケッド言語モデリング(MLM)を用いて,双方向エンコーダ表現(KcBERT)とKOLDデータを用いて,韓国のコメントを微調整したモデルで定義する。 バイアスを定量的に評価するために,LPBSとCBSのメトリクスを用いる。 KcBERTと比較すると、微調整されたモデルは民族バイアスの減少を示すが、性別や人種バイアスの著しい変化を示す。 これらの結果に基づき,社会的バイアスを軽減する2つの方法を提案する。 第一に、事前学習段階におけるデータバランスのアプローチは、特定の単語の発生の分布を調整し、周囲の有害な単語を有害でない単語に変換することによってデータの均一性を調整する。 第2に、トレーニング中の段階において、ドロップアウトと正規化を調整し、トレーニング損失の減少を確認することにより、デバイアスング規則化を適用する。 我々の貢献は、言語に依存した特徴により、韓国語モデルに社会的バイアスが存在することを示すことである。

関連論文リスト

• Scaling for Fairness? Analyzing Model Size, Data Composition, and Multilinguality in Vision-Language Bias [14.632649933582648]
  人気のVLMであるCLIPとそのオープンソース版において,データセット構成,モデルサイズ,多言語学習が性別や人種的偏見に与える影響について検討した。 社会的認知バイアスを評価するために,社会的に帯電した用語を特徴とする顔画像のゼロショット性能を測定した。
  論文  参考訳（メタデータ） (2025-01-22T21:08:30Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Evaluating Biased Attitude Associations of Language Models in an Intersectional Context [2.891314299138311]
  言語モデルは、心理学で文書化された暗黙のバイアスを埋め込んだ大規模コーパスで訓練される。 我々は、年齢、教育、性別、身長、知性、識字性、人種、宗教、性、性的指向、社会階級、体重に関するバイアスを研究する。 言語モデルは、性同一性、社会的階級、性的指向のシグナルに対して最も偏りのある態度を示す。
  論文  参考訳（メタデータ） (2023-07-07T03:01:56Z)
• Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
  この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。 得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。 この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
  論文  参考訳（メタデータ） (2023-06-04T08:09:26Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。