論文の概要: DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs

• arxiv url: http://arxiv.org/abs/2505.10013v1
• Date: Thu, 15 May 2025 06:53:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.210113
• Title: DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs
• Title（参考訳）: DIF: LLMにおける暗黙のバイアスのベンチマークと検証のためのフレームワーク
• Authors: Lake Yin, Fan Huang,
• Abstract要約: 我々は、Large Language Models(LLMs)における暗黙のバイアスは倫理的な問題であるだけでなく、技術的な問題でもあると主張している。 我々は、容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)の計算方法を開発した。
• 参考スコア（独自算出の注目度）: 1.89915151018241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) have risen in prominence over the past few years, there has been concern over the potential biases in LLMs inherited from the training data. Previous studies have examined how LLMs exhibit implicit bias, such as when response generation changes when different social contexts are introduced. We argue that this implicit bias is not only an ethical, but also a technical issue, as it reveals an inability of LLMs to accommodate extraneous information. However, unlike other measures of LLM intelligence, there are no standard methods to benchmark this specific subset of LLM bias. To bridge this gap, we developed a method for calculating an easily interpretable benchmark, DIF (Demographic Implicit Fairness), by evaluating preexisting LLM logic and math problem datasets with sociodemographic personas. We demonstrate that this method can statistically validate the presence of implicit bias in LLM behavior and find an inverse trend between question answering accuracy and implicit bias, supporting our argument.
• Abstract（参考訳）: 近年,Lumge Language Models (LLMs) が注目されているため,LLMの潜在的なバイアスがトレーニングデータから引き継がれていることが懸念されている。 これまでの研究では、異なる社会的文脈が導入されたときの応答生成の変化など、LCMがどのように暗黙の偏見を示すかが検討されてきた。 我々は、この暗黙の偏見は倫理的だけでなく技術的な問題でもあると主張する。 しかし、他のLLMインテリジェンスの指標とは異なり、このLLMバイアスの特定のサブセットをベンチマークする標準的な方法はない。 このギャップを埋めるために,従来のLCM論理と算数問題データセットをソシオデマログラフペルソナを用いて評価することにより,容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)を計算する手法を開発した。 本研究では,LLM行動における暗黙的偏見の存在を統計的に検証し,質問応答精度と暗黙的偏見の逆傾向を見出すことを実証する。

関連論文リスト

• Implicit Bias in LLMs: A Survey [2.07180164747172]
  本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。 まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。 検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2025-03-04T16:49:37Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• Prompting Fairness: Integrating Causality to Debias Large Language Models [19.76215433424235]
  大規模言語モデル(LLM)は偏見や差別的な反応を生じさせる可能性がある。 社会的偏見に対処するための因果性誘導型脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-13T17:46:28Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• A Theory of LLM Sampling: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Gender bias and stereotypes in Large Language Models [0.6882042556551611]
  本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。 我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
  論文  参考訳（メタデータ） (2023-08-28T22:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。