論文の概要: An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases

• arxiv url: http://arxiv.org/abs/2407.10853v3
• Date: Thu, 13 Feb 2025 14:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:31.630767
• Title: An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases
• Title（参考訳）: 大規模言語モデルのユースケースにおけるバイアスと公平性を評価するための実行可能なフレームワーク
• Authors: Dylan Bouchard,
• Abstract要約: 大規模言語モデル(LLM)は、様々な方法でバイアスを示すことができる。 特定のユースケースで使用するバイアスと公平度の測定値を決定するための,意思決定フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) can exhibit bias in a variety of ways. Such biases can create or exacerbate unfair outcomes for certain groups within a protected attribute, including, but not limited to sex, race, sexual orientation, or age. In this paper, we propose a decision framework that allows practitioners to determine which bias and fairness metrics to use for a specific LLM use case. To establish the framework, we define bias and fairness risks for LLMs, map those risks to a taxonomy of LLM use cases, and then define various metrics to assess each type of risk. Instead of focusing solely on the model itself, we account for both prompt-specific- and model-specific-risk by defining evaluations at the level of an LLM use case, characterized by a model and a population of prompts. Furthermore, because all of the evaluation metrics are calculated solely using the LLM output, our proposed framework is highly practical and easily actionable for practitioners. For streamlined implementation, all evaluation metrics included in the framework are offered in this paper's companion Python toolkit, LangFair. Finally, our experiments demonstrate substantial variation in bias and fairness across use cases, underscoring the importance of use-case-level assessments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な方法でバイアスを示すことができる。 このような偏見は、性、人種、性的指向、年齢など、保護された属性内の特定のグループに対して不公平な結果を生み出したり、悪化させる可能性がある。 本稿では, LLMの特定のユースケースに対して, どのバイアスと公平度を計測するかを, 実践者が決定できる決定枠組みを提案する。 枠組みを確立するために,LSMのバイアスリスクと公平リスクを定義し,それらのリスクをLSMのユースケースの分類にマッピングし,さまざまな指標を定義してリスクの種類を評価する。 モデル自体にのみ焦点をあてるのではなく、モデルとプロンプトの集団を特徴とするLCMユースケースのレベルでの評価を定義することにより、プロンプト固有のリスクとモデル固有のリスクの両方を考慮に入れている。 さらに, 評価指標のすべては LLM 出力のみを用いて計算されるので, 提案手法は実用的であり, 実践者にとって容易である。 実装の合理化のために、フレームワークに含まれるすべての評価指標が、この論文の共用PythonツールキットであるLangFairで提供されている。 最後に、我々の実験は、ユースケースごとのバイアスと公平性のかなりの変化を示し、ユースケースレベルの評価の重要性を強調した。

関連論文リスト

• LangFair: A Python Package for Assessing Bias and Fairness in Large Language Model Use Cases [0.0]
  LangFairは、LLM実践者に特定のユースケースに関連するバイアスと公平性リスクを評価するためのツールを提供することを目的としている。 このパッケージは、ユースケース固有のプロンプトに対するLLM応答で構成される評価データセットを簡単に生成する機能を提供する。 メトリクスの選択をガイドするために、LangFairは実行可能な決定フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-01-06T16:20:44Z)
• How to Choose a Threshold for an Evaluation Metric for Large Language Models [0.9423257767158634]
  本稿では,与えられた大規模言語モデル(LLM)評価指標のしきい値を選択するためのステップバイステップのレシピを提案する。 次に,得られたLLM評価基準のしきい値を決定するための,具体的かつ統計的に厳密な手順を提案する。
  論文  参考訳（メタデータ） (2024-12-10T21:57:25Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。