論文の概要: An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases

• arxiv url: http://arxiv.org/abs/2407.10853v3
• Date: Thu, 13 Feb 2025 14:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:31.630767
• Title: An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases
• Title（参考訳）: 大規模言語モデルのユースケースにおけるバイアスと公平性を評価するための実行可能なフレームワーク
• Authors: Dylan Bouchard,
• Abstract要約: 大規模言語モデル(LLM)は、様々な方法でバイアスを示すことができる。 特定のユースケースで使用するバイアスと公平度の測定値を決定するための,意思決定フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) can exhibit bias in a variety of ways. Such biases can create or exacerbate unfair outcomes for certain groups within a protected attribute, including, but not limited to sex, race, sexual orientation, or age. In this paper, we propose a decision framework that allows practitioners to determine which bias and fairness metrics to use for a specific LLM use case. To establish the framework, we define bias and fairness risks for LLMs, map those risks to a taxonomy of LLM use cases, and then define various metrics to assess each type of risk. Instead of focusing solely on the model itself, we account for both prompt-specific- and model-specific-risk by defining evaluations at the level of an LLM use case, characterized by a model and a population of prompts. Furthermore, because all of the evaluation metrics are calculated solely using the LLM output, our proposed framework is highly practical and easily actionable for practitioners. For streamlined implementation, all evaluation metrics included in the framework are offered in this paper's companion Python toolkit, LangFair. Finally, our experiments demonstrate substantial variation in bias and fairness across use cases, underscoring the importance of use-case-level assessments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な方法でバイアスを示すことができる。 このような偏見は、性、人種、性的指向、年齢など、保護された属性内の特定のグループに対して不公平な結果を生み出したり、悪化させる可能性がある。 本稿では, LLMの特定のユースケースに対して, どのバイアスと公平度を計測するかを, 実践者が決定できる決定枠組みを提案する。 枠組みを確立するために,LSMのバイアスリスクと公平リスクを定義し,それらのリスクをLSMのユースケースの分類にマッピングし,さまざまな指標を定義してリスクの種類を評価する。 モデル自体にのみ焦点をあてるのではなく、モデルとプロンプトの集団を特徴とするLCMユースケースのレベルでの評価を定義することにより、プロンプト固有のリスクとモデル固有のリスクの両方を考慮に入れている。 さらに, 評価指標のすべては LLM 出力のみを用いて計算されるので, 提案手法は実用的であり, 実践者にとって容易である。 実装の合理化のために、フレームワークに含まれるすべての評価指標が、この論文の共用PythonツールキットであるLangFairで提供されている。 最後に、我々の実験は、ユースケースごとのバイアスと公平性のかなりの変化を示し、ユースケースレベルの評価の重要性を強調した。

関連論文リスト

• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• Prejudice and Volatility: A Statistical Framework for Measuring Social Discrimination in Large Language Models [0.0]
  本研究では,Large Language Models (LLMs) の生成における不整合が社会的不正を誘発し,さらに悪化させる可能性について検討した。 LLMを評価するための行動指標を正確に定義するPrejudice-Volatility Framework(PVF)を定式化する。 我々は,LLMの集合的差別リスクを,システムバイアスやボラティリティリスクから生じる偏見リスクに数学的に分解する。
  論文  参考訳（メタデータ） (2024-02-23T18:15:56Z)
• Selecting Shots for Demographic Fairness in Few-Shot Learning with Large Language Models [14.772568847965408]
  NLP分類システムとしての大規模言語モデル(LLM)の公平性に及ぼすショットの影響について検討する。 既存のものと、新しい人口統計学的に敏感な方法の両方において、異なるショット選択戦略が、3つの標準フェアネスデータセットのモデルフェアネスにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2023-11-14T19:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。