論文の概要: An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases

• arxiv url: http://arxiv.org/abs/2407.10853v1
• Date: Mon, 15 Jul 2024 16:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:20:24.755994
• Title: An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases
• Title（参考訳）: 大規模言語モデルのユースケースにおけるバイアスと公平性を評価するための実行可能なフレームワーク
• Authors: Dylan Bouchard,
• Abstract要約: 本稿では,大規模言語モデルにおけるバイアスと公平性リスクを評価するための実践者のための技術ガイドを提供する。 この作業の主な貢献は、特定のLLMユースケースで使用するメトリクスを決定するための決定フレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can exhibit bias in a variety of ways. Such biases can create or exacerbate unfair outcomes for certain groups within a protected attribute, including, but not limited to sex, race, sexual orientation, or age. This paper aims to provide a technical guide for practitioners to assess bias and fairness risks in LLM use cases. The main contribution of this work is a decision framework that allows practitioners to determine which metrics to use for a specific LLM use case. To achieve this, this study categorizes LLM bias and fairness risks, maps those risks to a taxonomy of LLM use cases, and then formally defines various metrics to assess each type of risk. As part of this work, several new bias and fairness metrics are introduced, including innovative counterfactual metrics as well as metrics based on stereotype classifiers. Instead of focusing solely on the model itself, the sensitivity of both prompt-risk and model-risk are taken into account by defining evaluations at the level of an LLM use case, characterized by a model and a population of prompts. Furthermore, because all of the evaluation metrics are calculated solely using the LLM output, the proposed framework is highly practical and easily actionable for practitioners.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な方法でバイアスを示すことができる。 このような偏見は、性、人種、性的指向、年齢など、保護された属性内の特定のグループに対して不公平な結果を生み出したり、悪化させる可能性がある。 本稿は, LLM のユースケースにおけるバイアスと公平性のリスクを評価するための実践者のための技術ガイドを提供することを目的とする。 この作業の主な貢献は、特定のLLMユースケースで使用するメトリクスを決定するための決定フレームワークである。 そこで本研究では,LSMのバイアスと公正リスクを分類し,それらのリスクをLSMのユースケースの分類にマッピングし,さまざまな指標を公式に定義し,リスクの種類を評価する。 この研究の一環として、イノベーティブな反ファクトメトリクスやステレオタイプ分類器に基づくメトリクスなど、いくつかの新しいバイアスと公正度指標が導入されている。 モデル自体にのみ焦点をあてるのではなく、モデルとプロンプトの集団を特徴とするLCMユースケースのレベルでの評価を定義することにより、プロンプトリスクとモデルリスクの両方の感度を考慮する。 さらに, 評価指標のすべては LLM 出力のみを用いて計算されるため, 提案手法は実用的であり, 実践者にとって容易である。

関連論文リスト

• LangFair: A Python Package for Assessing Bias and Fairness in Large Language Model Use Cases [0.0]
  LangFairは、LLM実践者に特定のユースケースに関連するバイアスと公平性リスクを評価するためのツールを提供することを目的としている。 このパッケージは、ユースケース固有のプロンプトに対するLLM応答で構成される評価データセットを簡単に生成する機能を提供する。 メトリクスの選択をガイドするために、LangFairは実行可能な決定フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-01-06T16:20:44Z)
• How to Choose a Threshold for an Evaluation Metric for Large Language Models [0.9423257767158634]
  本稿では,与えられた大規模言語モデル(LLM)評価指標のしきい値を選択するためのステップバイステップのレシピを提案する。 次に,得られたLLM評価基準のしきい値を決定するための,具体的かつ統計的に厳密な手順を提案する。
  論文  参考訳（メタデータ） (2024-12-10T21:57:25Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。