論文の概要: Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models

• arxiv url: http://arxiv.org/abs/2408.03907v1
• Date: Wed, 7 Aug 2024 17:11:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 12:35:07.566032
• Title: Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
• Title（参考訳）: デコードバイアス:言語モデルにおけるジェンダーバイアス検出のための自動方法とLCM判定器
• Authors: Shachi H Kumar, Saurav Sahay, Sahisnu Mazumder, Eda Okur, Ramesh Manuvinakurike, Nicole Beckage, Hsuan Su, Hung-yi Lee, Lama Nachman,
• Abstract要約: 大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
• 参考スコア（独自算出の注目度）: 47.545382591646565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have excelled at language understanding and generating human-level text. However, even with supervised training and human alignment, these LLMs are susceptible to adversarial attacks where malicious users can prompt the model to generate undesirable text. LLMs also inherently encode potential biases that can cause various harmful effects during interactions. Bias evaluation metrics lack standards as well as consensus and existing methods often rely on human-generated templates and annotations which are expensive and labor intensive. In this work, we train models to automatically create adversarial prompts to elicit biased responses from target LLMs. We present LLM- based bias evaluation metrics and also analyze several existing automatic evaluation methods and metrics. We analyze the various nuances of model responses, identify the strengths and weaknesses of model families, and assess where evaluation methods fall short. We compare these metrics to human evaluation and validate that the LLM-as-a-Judge metric aligns with human judgement on bias in response generation.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 しかし、教師付きトレーニングや人間のアライメントでさえも、悪意のあるユーザーが好ましくないテキストを生成するようモデルに促すような敵対的な攻撃を受けやすい。 LLMはまた、相互作用中に様々な有害な影響を引き起こす可能性のある潜在的なバイアスを本質的にエンコードする。 バイアス評価メトリクスはコンセンサスだけでなく標準も欠如しており、既存の手法は高価で労力がかかる人為的なテンプレートやアノテーションに依存していることが多い。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。 本稿では, LLMに基づくバイアス評価指標について述べるとともに, 既存の自動評価手法と評価指標について分析する。 モデル応答の様々なニュアンスを分析し、モデルファミリーの長所と短所を特定し、評価方法の短所を評価する。 これらの指標を人体評価と比較し, LLM-as-a-Judge測定値が応答生成のバイアスに対する人間の判断と一致していることを検証する。

関連論文リスト

• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition [46.949604465227054]
  そこで我々は,MAD(Maximum Discrepancy)コンペティションに基づく,サンプル効率のよい人的評価手法を提案する。 MAD は2つの LLM に適応した情報的かつ多様な命令群を自動的に選択する。 ペア比較の結果は、Eloレーティングシステムを用いてグローバルランキングに集約される。
  論文  参考訳（メタデータ） (2024-04-10T01:26:24Z)
• Likelihood-based Mitigation of Evaluation Bias in Large Language Models [37.07596663793111]
  大規模言語モデル(LLM)は、自然言語生成タスクを自動メトリクスとして評価するために広く使われている。 LLMが評価に使用される場合、確率バイアスが存在する可能性がある。
  論文  参考訳（メタデータ） (2024-02-25T04:52:02Z)
• Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality [0.0]
  トランスフォーマーモデルは、様々な自然言語タスクに対して最先端のパフォーマンスを達成したが、望ましくないバイアスを符号化することが示されている。 本研究では,トランスフォーマーモデルの予測の質を評価するために,提案するプロキシ関数を用いて,マスク付き言語モデリングの目的を訓練したトランスフォーマーによって符号化された社会的バイアスを評価する。 我々は,すべてのモデルが社会的偏見をエンコードしているのを見出した。ベンチマークデータセットを用いた他の評価手法による偏見推定と比較する。
  論文  参考訳（メタデータ） (2024-02-21T17:33:13Z)
• How Reliable Are Automatic Evaluation Methods for Instruction-Tuned LLMs? [3.1706553206969925]
  このような手法のメタ評価を行い、その信頼性を幅広いタスクにわたって評価する。 自動評価手法は、特定の条件下で人間の評価を近似することができるが、その妥当性は文脈に依存している。 本研究は,命令調整型LLMの開発と評価において,自動手法の適用方法や解釈方法の理解を深めるものである。
  論文  参考訳（メタデータ） (2024-02-16T15:48:33Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。