論文の概要: Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs

• arxiv url: http://arxiv.org/abs/2610.35069v1
• Date: Mon, 26 Oct 2026 09:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.806586
• Title: Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs
• Title（参考訳）: 単一属性監査を超えて: LLMにおける断面フェアネスのための構成可能なマルチ属性ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、公平性についてますます評価されているが、既存のベンチマークでは、1回に1つのセンシティブな属性を監査している。 既存のフェアネスデータを479,066のDual- and Multi-Atributeインスタンスに変換するベンチマークであるComFairを紹介する。 このペアリングは、パフォーマンスやバイアススコアシフトの統一監査、新たなエラーの導入や既存のエラーの隠蔽、モデルレベルの安定性などをサポートする。
• 参考スコア（独自算出の注目度）: 51.55275445840593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly evaluated for fairness, yet most existing benchmarks audit one sensitive attribute at a time. This single-attribute paradigm can miss intersectional harms, where multiple attributes interact non-additively and produce failures that are invisible under marginal evaluation. We introduce ComFair, a configurable benchmark that converts existing fairness data into 479,066 controlled Dual- and Multi-attribute instances and pairs every augmented instance with its task-equivalent source. Across Recognition, Selection, Continuation, and Conversation, this pairing supports a unified audit of performance or bias-score shifts, how often added attributes introduce new errors or mask existing ones, and model-ranking stability. Experiments on ten LLMs show task- and subgroup-dependent sensitivity: discriminative tasks expose both transition directions even when aggregate changes are modest, generative tasks exhibit larger and directionally asymmetric shifts, and rankings vary with attribute composition. ComFair therefore provides a scalable controlled sensitivity audit---rather than a model of the natural joint distribution of identities---for testing the robustness of fairness-benchmark conclusions beyond single-attribute settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、公平性についてますます評価されているが、既存のベンチマークでは、1回に1つのセンシティブな属性を監査している。 この単一属性のパラダイムは、複数の属性が非付加的に相互作用し、限界評価の下では見えない失敗を生み出すという、交差点の害を見逃す可能性がある。 ComFairは、既存のフェアネスデータを479,066の制御されたDual- and Multi-Atributeインスタンスに変換し、すべての拡張インスタンスとタスク等価ソースをペアリングする構成可能なベンチマークである。 認識、選択、継続、会話を含むこのペアリングは、パフォーマンスやバイアススコアシフトの統一的な監査、新しいエラーの導入や既存のエラーの隠蔽、モデルレベルの安定性をサポートする。 10個のLDMの実験では、タスク依存とサブグループ依存の感度が示され、集合的変化が穏やかな場合でも、識別的タスクは両方の遷移方向を露出し、生成的タスクはより大きな非対称なシフトを示し、ランクは属性組成によって異なる。 それゆえ、ComFairは、アイデンティティの自然な結合分布のモデルではなく、スケーラブルな制御された感度監査を提供する。

関連論文リスト

• Do LMs Know What Variables Do? Interpreting Code Representations via Variable Roles [24.124572604919802]
  我々は、サジャニエミの独立に定義された分類学を用いて、大きな言語モデルからどの役割の区別を取り戻せるかを研究する。 我々は,11のロールと5つの言語にまたがる116,926の自然言語ファイルのコーパスに対して,静的なアノテーションルールを導入する。
  論文  参考訳（メタデータ） (2026-10-16T18:46:34Z)
• VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation [50.26484893435373]
  大規模言語モデル(LLM)の現在の値アライメント評価は、出力コンプライアンスに大きく依存している。 本稿では,価値の一貫性を3つのベンチマークスイートにまとめる役割駆動型データ構築フレームワークであるVALCONを提案する。 我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供する。
  論文  参考訳（メタデータ） (2026-10-15T05:52:52Z)
• Beyond Independence: Learning Correlated Views for Variational Incomplete Multi-View Clustering [15.204251218204542]
  不完全なマルチビュークラスタリング(IMVC)は、部分的に観察されたビューを持つデータから共有クラスタ構造を明らかにすることを目的としている。 本稿では、学習可能なクロスビュー相関構造を導入することにより、この仮定を明示的に超越した変分フレームワークを提案する。 提案手法は多種多様なビュー設定における最先端のアプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-16T14:16:24Z)
• In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores [20.623498601506974]
  標準化されたテストパラダイムは構造的に信頼性が低いことを示す。 制御された変動因子を多ラウンド対話に組み込む多エージェント対話フレームワークMAC-Fairnessを開発した。 In-situの行動評価は、フェアネスの目標と評価方法が異なるベンチマークで一般化できる安定したモデル固有の行動シグネチャを明らかにする。
  論文  参考訳（メタデータ） (2026-04-21T18:38:50Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities [14.13459302125202]
  大きな言語モデル(LLM)の一貫性を評価することは、信頼性を確保するために不可欠である。 従来の自己整合性メソッドは、自然言語の微妙な意味的変化や、コードや方程式の関数的シフトを見逃すことが多い。 可逆変換のシーケンスによる一貫性の測定を目的とした木に基づく評価フレームワークであるConsistencyCheckerを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:18:33Z)
• Multi-Attribute Steering of Language Models via Targeted Intervention [56.93583799109029]
  推論時間介入(ITI)は,大規模言語モデル(LLM)の振る舞いを特定の方向に操るための有望な手法として登場した。 マルチ属性・ターゲットステアリング(MAT-Steer)は,複数の属性をまたいだトークンレベルの選択的介入を目的とした,新しいステアリングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-18T02:27:23Z)
• Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
  本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
  論文  参考訳（メタデータ） (2022-10-12T23:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。