論文の概要: FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation

• arxiv url: http://arxiv.org/abs/2607.28934v1
• Date: Fri, 31 Jul 2026 01:29:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.558724
• Title: FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation
• Title（参考訳）: FairFund-Bench: LLMリソース割り当てにおける分散バイアスの評価
• Abstract要約: FairFund-Benchは,従来の監査設計の主要な特徴を体系的に変化させるベンチマークである。 この不一致は監査形式の違いから生じる可能性を示し、FairFund-Benchを紹介する。 このベンチマークは、4つの基準(デコグラフィーバイアス、保存性アライメント、クロスタスク整合性、およびクロスコンテキスト整合性)でモデルを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly involved in the distribution of scarce resources, raising concerns about biased allocations based on characteristics like race and gender. Recent LLM audits have produced inconsistent results, however, finding evidence of both positive and negative discrimination towards women and ethnic minorities, even for the same models. We show that this disagreement can arise from differences in audit format and introduce FairFund-Bench, a benchmark that systematically varies key features of previous audit designs: the evaluation task (rating, ranking, or allocation), comparison context (single or multi-stimulus), and whether the audit is transparent or disguised. The benchmark comprises 600 requests for financial assistance created from human-authored templates (calibrated against 1.3M real GoFundMe campaigns) across three domains, four race and two gender categories, and five causal framings of need derived from welfare deservingness theory. Across 14 models, audit format changes the direction of bias: models advantage minorities when rating claimants individually but penalize some groups when ranking them side by side. Bias magnitude, though small overall, is several times greater in disguised audits than in transparent ones, where, faced with appeals differing only in claimants' names, models overwhelmingly split funds equally. Causal framing effects, by contrast, exceed demographic effects by roughly an order of magnitude and are consistent across models and audit formats, indicating that current LLMs robustly reproduce human deservingness evaluations. The benchmark scores models on four criteria (demographic bias, deservingness alignment, cross-task consistency, and cross-context consistency), is publicly available, and can be readily adapted to other substantive domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不足するリソースの分散にますます関与し、人種や性別といった特性に基づいた偏りのあるアロケーションに対する懸念を高めている。 しかし、近年のLCM監査では、同じモデルであっても、女性や少数民族に対する肯定的・否定的な差別の証拠が見つかっている。 評価タスク(評価,ランキング,アロケーション)、比較コンテキスト(単一または複数刺激)、監査が透明か偽装かといった,従来の監査設計の主要な特徴を体系的に変化させるベンチマークであるFairFund-Benchを導入する。 このベンチマークは、3つのドメイン、4つの人種と2つの性別カテゴリー、福祉保存性理論に由来する5つの必要条件の因果的フレーミングを含む、人間が認可したテンプレート(13MのリアルなGoFundMeキャンペーンに対してキャリブレーション)から作成される金融支援のための600の要求で構成されている。 14モデルにわたって、監査形式はバイアスの方向を変える:モデルは、評価請求者が個別に評価するときに少数派を有利にし、それらを並べてランク付けするときに一部のグループを罰する。 バイアスの規模は全体としては小さいが、透明なオーディションに比べて数倍も大きく、請求者の名前だけが異なる上、モデルは圧倒的に資金を分割する。 対照的に、因果フレーミング効果は、大まかに1桁の人口動態効果を超え、モデルや監査形式に一貫しており、現在のLLMは人間の保存性評価をしっかりと再現していることを示している。 このベンチマークは、4つの基準(デコグラフィーバイアス、保存性アライメント、クロスタスク整合性、コンテキスト整合性)でモデルを評価する。

関連論文リスト

• The Audit Decides the Verdict: Instrument Effects Rival Demographic Bias in LLM Decision Audits [2.347309464574674]
  チャリタブルエイドのベンチマークでは、評価が1度に1度だけ要求された場合、同じモデルが少数候補者を好んでおり、並べてランク付けすると一部が罰せられると報告されている。 我々は、それが雇用、貸与、医療トリアージに一般化するかどうかを検証する。
  論文  参考訳（メタデータ） (2026-09-08T17:08:53Z)
• Do Fair Models Reason Fairly? Counterfactual Explanation Consistency for Procedural Fairness in Credit Decisions [0.0]
  既存の結果フェアモデルは、個人に対して根本的に異なる推論を適用可能であることを示す。 本稿では,このバイアスを検出し緩和するフレームワークであるCECを提案する。 主なコントリビューションには、最寄りのカウンターファクト生成方法、統合勾配比較のための修正ベースライン、およびそれに対応するトレーニング損失が含まれる。
  論文  参考訳（メタデータ） (2026-05-12T19:54:25Z)
• Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
  GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。 モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
  論文  参考訳（メタデータ） (2026-04-14T15:06:13Z)
• Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
  ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。 一つのバイアスが28%以上の研究で議論されることはない。 本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
  論文  参考訳（メタデータ） (2026-02-15T17:02:01Z)
• Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution [5.061421107401101]
  大規模言語モデル(LLM)は目覚ましいパフォーマンスを達成し、採用や受け入れといったリソース制約のあるコンテキストで意思決定支援ツールとして広く採用されている。 しかし、AIシステムは社会的バイアスを反映し、さらに悪化させることができるという科学的コンセンサスがあり、批判的な社会的文脈で使用される場合、アイデンティティに基づく害についての懸念が高まる。 本研究では,複数の識別軸が交差する際,異なる不利パターンを生じることを認識して,一軸の公平性評価を拡張し,交差バイアスを検証した。
  論文  参考訳（メタデータ） (2025-08-09T22:24:40Z)
• Robustly Improving LLM Fairness in Realistic Settings via Interpretability [0.16843915833103415]
  現実的な文脈の詳細が導入されたとき、アンチバイアスプロンプトは失敗する。 企業名や公的キャリアページからの文化記述などの現実的なコンテキストの追加,選択的な雇用制限は,人種的および性別的偏見を著しく引き起こすことが判明した。 我々の内部バイアス緩和は人種や性別に関連する方向を特定し、推論時にアフィンの概念を編集する。
  論文  参考訳（メタデータ） (2025-06-12T17:34:38Z)
• Towards Large Language Models that Benefit for All: Benchmarking Group Fairness in Reward Models [16.977176752570617]
  大規模言語モデル(LLM)は、ますます強力で、人間のユーザにとってアクセスしやすくなっている。 多様な人口集団、すなわちグループフェアネスの公平性を保証することは、批判的な倫理的関心事である。 この研究は、学習した報酬モデルのグループフェアネスをベンチマークする。
  論文  参考訳（メタデータ） (2025-03-10T19:39:39Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Bias Similarity Measurement: A Black-Box Audit of Fairness Across LLMs [35.72288339965426]
  バイアス類似度測定(BSM)は、公平性をモデル間の関係性として扱う。 オープンウェイトモデルは、プロプライエタリなシステムと一致したり、超えたりすることができる。 BSMは、調達、回帰テスト、系統スクリーニングのための監査ワークフローを提供する。
  論文  参考訳（メタデータ） (2024-10-15T19:21:14Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• What's in a Name? Auditing Large Language Models for Race and Gender Bias [45.1187517058961]
  我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。 このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T18:25:25Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models [73.24381010980606]
  本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。 監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。 この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
  論文  参考訳（メタデータ） (2022-06-20T16:27:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。