論文の概要: Bias Audits Detect Bias but Disagree on Ranking: Evidence from Ten Instruments and Ten Frontier Models

• arxiv url: http://arxiv.org/abs/2609.15995v1
• Date: Thu, 09 Jul 2026 15:38:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.528604
• Title: Bias Audits Detect Bias but Disagree on Ranking: Evidence from Ten Instruments and Ten Frontier Models
• Title（参考訳）: Bias Auditsが10の計器と10のフロンティアモデルから偏見を発見
• Abstract要約: 10のフロンティアモデルの共通パネル上で10の監査楽器を実行します。 10のツールのうち8つは、信頼区間がゼロであるバイアスを検出する。 クロスツールのランク契約は偶然と区別できない。
• 参考スコア（独自算出の注目度）: 2.422857892314494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emerging AI regulation mandates bias audits of high-risk systems, and audit scores are beginning to be used to rank models. Both uses assume different audit tools measure the same thing well enough to compare. We test that assumption directly, running ten extrinsic audit instruments over a shared panel of ten frontier models through one pooled inference gateway, first on occupational gender bias, then on age and socioeconomic status. Detection succeeds while ranking fails. Eight of ten tools detect bias with confidence intervals clear of zero; two widely cited direct-probe benchmarks are saturated because frontier models now answer neutrally. But cross-tool rank agreement is indistinguishable from chance (Kendall's W=0.07, p=0.83). A positive control with six deliberately weaker models separates two explanations: within-tool reliability recovers once the panel spans real capability gaps, yet cross-tool ranking never recovers, which points to the tools measuring different constructs rather than one construct noisily. Even the direction of bias splits by audit format: forced-choice decision tools mostly over-correct (toward women, and toward working-class candidates in 273 of 278 hiring decisions), while free generation and default coreference stay stereotype-congruent. The pattern replicates on socioeconomic status; an apparent ranking agreement on age dissolves under the paper's own tool-inclusion rules. The practical message: a single audit can detect bias and estimate its direction within its own operationalization, but no single audit supports ranking one model against another. All raw responses, code, and the analysis that recomputes every reported number from source are available at https://github.com/williamguey/bias-audit-agreement.
• Abstract（参考訳）: 新たなAI規制は、ハイリスクシステムのバイアス監査を義務付けており、監査スコアはモデルのランク付けに使われ始めている。 どちらのツールも、異なる監査ツールが比較に十分な程度に同じことを計測していると仮定する。 この仮定を直接テストし、10つのフロンティアモデルの共通パネル上で、1つのプールド推論ゲートウェイを介して10の外部監査機器を実行し、まず職業性バイアス、そして年齢と社会経済状態について検討した。 判定は成功し、ランク付けは失敗する。 信頼区間がゼロであるバイアスを検出する10のツールのうち8つは、広く引用されている2つの直接プローブベンチマークが飽和している。 しかし、クロスツールのランク契約は偶然とは区別できない(ケンドールの W=0.07, p=0.83)。 内部ツールの信頼性は、パネルが実際の能力ギャップを越えたときに回復するが、クロスツールのランキングは回復しない。 強制選択決定ツールは主に過誤(女性、採用決定278件中273件の労働者階級候補者に向けて)であり、フリージェネレーションとデフォルトコアはステレオタイプと一致している。 このパターンは社会経済的地位を再現し、年齢に関する明らかなランク付け合意は、論文のツール・インクルージョン・ルールの下で解消される。 実践的なメッセージ: 1つの監査がバイアスを検出し、自身の運用内でその方向を推定するが、ひとつの監査が1つのモデルと別のモデルとのランキングをサポートすることはない。 ソースから報告されたすべての数値を再計算する生のレスポンス、コード、分析はすべて、https://github.com/williamguey/bias-audit-agreementで確認できる。

関連論文リスト

• A Closed-Form Estimator and Diagnostic Battery for Anchor-Judge Error Correlation, Under a Single-Common-Factor Model [0.0]
  外部参照セットを使用して、LCM-judgeパネルのエラーを品質信号と共有共通モードエラーに分解する。 我々は、その仮定がいつ降ろされ、見積もりに置き換えられるかを研究する。 クリーンアンカー推定器は、汚染されたコンパニオンアンカーが、信頼されたアンカー自体が汚染されると完全にクリーンであると報告する。
  論文  参考訳（メタデータ） (2026-09-08T14:49:13Z)
• Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
  LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。 このエンドポイントは、報告するスケールでは特定されない。 我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-27T16:10:16Z)
• When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
  LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。 判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。 大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
  論文  参考訳（メタデータ） (2026-07-09T02:46:51Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Best Arm Identification with LLM Judges and Limited Human [18.85883540190321]
  固定信頼ベストアーム識別(BAI)について検討する。 本研究では,各アームの平均値と逆正当性重み付け残差を結合した平均値の推定器を開発する。 推定器と信頼性シーケンスに基づいて,アームを適応的に選択し,監査するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-29T09:50:34Z)
• A Causal Information-Flow Framework for Unbiased Learning-to-Rank [52.54102347581931]
  Web検索とレコメンデーションシステムでは、ユーザクリックがランキングモデルのトレーニングに広く使用されている。 本稿では,Unbiased Learning-to-Rankを拡張する因果学習に基づく新たなランキングフレームワークを提案する。 本手法は測定されたバイアスリークを一貫して低減し,ランキング性能を向上させる。
  論文  参考訳（メタデータ） (2026-01-09T07:19:35Z)
• BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models [55.119657444627855]
  大規模言語モデル(LLM)は、複数のプロバイダが機能的に同等のオプションを提供するマーケットプレースから引き出された外部ツールに依存していることが多い。 選択が体系的に偏りがある場合、ユーザエクスペリエンスを低下させ、競争を歪ませることができます。 ツール選択バイアスを評価するために,複数の機能的に等価なツールを含む多種多様なツールカテゴリのベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-09-30T22:02:13Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。