論文の概要: Rejected Dialects: Biases Against African American Language in Reward Models

• arxiv url: http://arxiv.org/abs/2502.12858v1
• Date: Tue, 18 Feb 2025 13:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:40.810770
• Title: Rejected Dialects: Biases Against African American Language in Reward Models
• Title（参考訳）: Rejected Dialects: Reward Modelsにおけるアフリカ系アメリカ人言語に対するバイアス
• Authors: Joel Mire, Zubin Trivadi Aysola, Daniel Chechelnitsky, Nicholas Deas, Chrysoula Zerva, Maarten Sap,
• Abstract要約: 報酬モデルにおける方言バイアスを評価するための枠組みを導入する。 我々は、WME(White Mainstream English)と機械翻訳と人書きAALコーパスのペアで、報酬モデルの好みと振舞いを比較する実験を行った。 我々は、報酬モデルがAALテキストとWMEテキストの処理において人間の好みと一致しないことを示す。
• 参考スコア（独自算出の注目度）: 15.888517781590398
• License:
• Abstract: Preference alignment via reward models helps build safe, helpful, and reliable large language models (LLMs). However, subjectivity in preference judgments and the lack of representative sampling in preference data collection can introduce new biases, hindering reward models' fairness and equity. In this work, we introduce a framework for evaluating dialect biases in reward models and conduct a case study on biases against African American Language (AAL) through several experiments comparing reward model preferences and behavior on paired White Mainstream English (WME) and both machine-translated and human-written AAL corpora. We show that reward models are less aligned with human preferences when processing AAL texts vs. WME ones (-4\% accuracy on average), frequently disprefer AAL-aligned texts vs. WME-aligned ones, and steer conversations toward WME, even when prompted with AAL texts. Our findings provide a targeted analysis of anti-AAL biases at a relatively understudied stage in LLM development, highlighting representational harms and ethical questions about the desired behavior of LLMs concerning AAL.
• Abstract（参考訳）: 報酬モデルによる優先調整は、安全で有用な信頼性の高い大規模言語モデル(LLM)の構築に役立つ。 しかし、選好判断における主観性と選好データ収集における代表的サンプリングの欠如は、報酬モデルの公平性と公平性を阻害する新たなバイアスをもたらす可能性がある。 本研究では、報酬モデルにおける方言バイアスを評価するための枠組みを導入し、White Mainstream English(WME)と機械翻訳と人文によるAALコーパスについて、報酬モデルの好みと行動を比較した実験を通じて、アフリカ系アメリカ人言語(AAL)に対するバイアスに関する事例研究を行う。 報酬モデルでは、AALテキストとWMEテキストを処理した場合(平均4倍の精度)、AALテキストとWMEテキストとをよく区別し、AALテキストを入力してもWMEに向けての会話を行う。 本研究は,LSMの比較的研究段階における抗AALバイアスを標的として分析し,ALに関するLSMの望ましい行動に関する表現的害と倫理的疑問を強調した。

関連論文リスト

• Debiasing Large Vision-Language Models by Ablating Protected Attribute Representations [7.052925981783274]
  本稿では,テキスト生成時のバイアス属性を直接評価することで,LVLMのための新しい脱バイアスフレームワークを提案する。 本手法では, トレーニングを必要とせず, 比較的少数の代表バイアス出力が要求される。 我々の実験は、LVLMが保護属性に関連するテキストを生成することの妥当性を最小化できるだけでなく、合成データを使ってアブレーションを知らせることさえできることを示した。
  論文  参考訳（メタデータ） (2024-10-17T19:02:31Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• BiasDPO: Mitigating Bias in Language Models through Direct Preference Optimization [0.0]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な役割を担っているが、バイアスの持続可能性には重大な懸念がある。 本稿では、英語テキストにおけるジェンダー、人種、宗教的偏見を緩和するために、DPO(Direct Preference Optimization)を用いた新しい枠組みを提案する。 バイアスのある完了よりもバイアスの少ない損失関数を開発することで、我々のアプローチは敬意と非差別的な言語を好む。
  論文  参考訳（メタデータ） (2024-07-18T22:32:20Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Towards Auditing Large Language Models: Improving Text-based Stereotype Detection [5.3634450268516565]
  i) ジェンダー、人種、職業、宗教のステレオタイプテキストの52,751件を含むマルチグラインステレオタイプデータセットを紹介する。 そこで本研究では,新しいデータセットでトレーニングしたモデルについて,厳密に検証する実験を行った。 実験によると、マルチクラスの設定でモデルをトレーニングすることは、すべてのバイナリの1つよりも優れている。
  論文  参考訳（メタデータ） (2023-11-23T17:47:14Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Evaluation of African American Language Bias in Natural Language Generation [9.823804049740916]
  ホワイト・メインストリーム・イングリッシュ(WME)と比較して,LLMがアフリカ系アメリカ人言語(AAL)をいかに理解しているかを評価する。 提案するコントリビューションには,(1)2つの言語生成タスクにおける6つの事前訓練された大規模言語モデルの評価,(2)WMEにおける人間アノテーションによる複数の文脈からのAALテキストの新たなデータセット,(3)AAL特徴の理解の欠如に関するバイアスと傾向の同定を示唆するモデルパフォーマンスギャップの文書化などが含まれる。
  論文  参考訳（メタデータ） (2023-05-23T17:34:37Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。