論文の概要: The Audit Decides the Verdict: Instrument Effects Rival Demographic Bias in LLM Decision Audits

• arxiv url: http://arxiv.org/abs/2609.09048v1
• Date: Tue, 08 Sep 2026 17:08:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.700727
• Title: The Audit Decides the Verdict: Instrument Effects Rival Demographic Bias in LLM Decision Audits
• Title（参考訳）: オーディットが評決を下す: LLM意思決定オーディットにおける楽器効果のデモグラフィックバイアス
• Abstract要約: チャリタブルエイドのベンチマークでは、評価が1度に1度だけ要求された場合、同じモデルが少数候補者を好んでおり、並べてランク付けすると一部が罰せられると報告されている。 我々は、それが雇用、貸与、医療トリアージに一般化するかどうかを検証する。
• 参考スコア（独自算出の注目度）: 2.347309464574674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether a language model looks demographically biased can depend on how the audit asks its question. A charitable-aid benchmark reports that the same models favor minority applicants when rating requests one at a time and penalize some when ranking side by side. We test whether that reversal generalizes to hiring, lending, and medical triage: 40,726 requests to five models, applications differing only in the applicant's name, and a primary test fixed before collection. It does not. None of 36 planned contrasts survives correction. The rating advantage keeps its sign at roughly half the published size, and a precision extension bounds any hiring ranking penalty below the published effect, though the lending and triage ranking floors sit above that margin, so the exclusion is conclusive for hiring ranking and for rating in all three domains only. Planted disparities tracking their injected sizes and a directional replication on the original aid materials bound these nulls. The audit is livelier than the demographics: models recognize transparent audits nearly always, tie every identical-content comparison whether the varying detail is race or a hobby, and reward first-listed candidates as much as any demographic effect we measure. Audit verdicts reflect audit construction more than demographic bias.
• Abstract（参考訳）: 言語モデルが人口統計学的に偏ったように見えるかどうかは、監査がどのように質問するかによって異なります。 チャリタブルエイドのベンチマークでは、評価が1度に1度だけ要求された場合、同じモデルが少数候補者を好んでおり、並べてランク付けすると一部が罰せられると報告されている。 5つのモデルに対する40,726の要求、出願人名のみが異なるアプリケーション、収集前に修正された一次テスト。 そうではない。 いずれのコントラストも修正は残っていない。 格付け上の優位性は、公表された大きさのおよそ半分に留まり、精密な拡張は、発行された効果より低い雇用の格付けを制限しているが、貸付とトリアージの格付けフロアはそのマージンの上に置かれているため、その除外は3つの領域に限っての雇用と格付けに決定的である。 注入されたサイズの追跡と、元の援助材料への方向の複製がこれらのヌルに結びついている。 モデルは透明な監査をほぼ常に認識し、異なる詳細が人種であれ趣味であれ、あらゆる同一コンテンツの比較を結び付けます。 監査の評決は、人口統計バイアスよりも監査の構成を反映している。

関連論文リスト

• FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation [0.0]
  FairFund-Benchは,従来の監査設計の主要な特徴を体系的に変化させるベンチマークである。 この不一致は監査形式の違いから生じる可能性を示し、FairFund-Benchを紹介する。 このベンチマークは、4つの基準(デコグラフィーバイアス、保存性アライメント、クロスタスク整合性、およびクロスコンテキスト整合性)でモデルを評価する。
  論文  参考訳（メタデータ） (2026-07-31T01:29:16Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• An External Fairness Evaluation of LinkedIn Talent Search [55.18656975953939]
  LinkedInのTalent Searchランキングシステムのバイアスに対する、独立したサードパーティによる監査を行います。 我々は、性別と人種の2つの属性にまたがる潜在的なランキングバイアスに焦点を当てている。 我々の分析は、初期階級の少数派を過小評価していることを示している。
  論文  参考訳（メタデータ） (2025-11-13T19:10:49Z)
• Hearing the Order: Investigating Selection Bias in Large Audio-Language Models [51.69003519291754]
  大規模オーディオ言語モデル(LALM)は、注文された選択肢に対する推論を含むタスクでしばしば使用される。 本稿では,この問題をLALMで同定し,解析する。
  論文  参考訳（メタデータ） (2025-10-01T08:00:58Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Robustly Improving LLM Fairness in Realistic Settings via Interpretability [0.16843915833103415]
  現実的な文脈の詳細が導入されたとき、アンチバイアスプロンプトは失敗する。 企業名や公的キャリアページからの文化記述などの現実的なコンテキストの追加,選択的な雇用制限は,人種的および性別的偏見を著しく引き起こすことが判明した。 我々の内部バイアス緩和は人種や性別に関連する方向を特定し、推論時にアフィンの概念を編集する。
  論文  参考訳（メタデータ） (2025-06-12T17:34:38Z)
• Auditing for Bias in Ad Delivery Using Inferred Demographic Attributes [50.37313459134418]
  広告配信のブラックボックス監査において,予測誤差が偏見の監査に与える影響について検討した。 本稿では,広告配信アルゴリズムのスキュー評価において,推測誤差を軽減する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T18:57:03Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。