Fugu-MT 論文翻訳(概要): One Example Is Enough to Pass Fairness Benchmarks: Rethinking Fairness Evaluation for Aligned LLMs

論文の概要: One Example Is Enough to Pass Fairness Benchmarks: Rethinking Fairness Evaluation for Aligned LLMs

arxiv url: http://arxiv.org/abs/2609.14860v1
Date: Mon, 14 Sep 2026 00:21:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.017016
Title: One Example Is Enough to Pass Fairness Benchmarks: Rethinking Fairness Evaluation for Aligned LLMs
Title（参考訳）: フェアネスベンチマークをパスするには十分である一例:アライメントされたLLMのフェアネス評価を再考する
Abstract要約: BBQのようなフェアネスベンチマークは、主要なモデルファミリー間でのフェアネス評価のデファクトスタンダードとなっている。これらのベンチマークは、彼らの役割をサポートするのが簡単すぎる、と私たちは主張する。フェアネスアライメントの幅広い範囲をカバーする評価スイートを求めている。
参考スコア（独自算出の注目度）: 38.07475237991597
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Warning: This submission studies stereotypes and biases, and contains toxic and offensive examples, used for illustration purposes only. Fairness benchmarks such as BBQ have become the de facto standard for fairness evaluation across major model families. We argue that these benchmarks are too easy to support their role: training Qwen 2.5 7B Base with Group Relative Policy Optimization (GRPO) on a single BBQ example, or placing that example in context as a one-shot demonstration for in-context learning (ICL), lifts mean BBQ accuracy from 79.9% to 92.9% and 99.0%, respectively, closing 80% of the gap to its large-scale RLHF counterpart (96.1%) with GRPO, and surpassing it with ICL. These effects generalize across model families. A cross-conditioning analysis shows the improvement is carried by the reasoning traces generated by the model, and one example suffices to elicit a category-agnostic ``missing evidence'' reasoning pattern. We argue that BBQ-style multiple-choice abstention benchmarks measure a single structural cue, and a model that solves them does not thereby become fair. We call for evaluation suites that cover a broader spectrum of fairness alignment.
Abstract（参考訳）: 警告: この提出書はステレオタイプとバイアスを研究し、イラストのためにのみ使用される有毒で攻撃的な例を含んでいる。 BBQのようなフェアネスベンチマークは、主要なモデルファミリー間でのフェアネス評価のデファクトスタンダードとなっている。 Qwen 2.5 7B Base with Group Relative Policy Optimization (GRPO) on a single BBQ example, or put that example in context as a one-shot demonstration for in-context learning (ICL), lifts mean BBQ accuracy to 79.9% to 92.9% and 99.0%, lifts mean BBQ accuracy from 79.9% to 92.0%, close the gap to its large-scale RLHF counterpart (96.1%) with GRPO and it as ICL。これらの効果はモデルファミリーにまたがって一般化される。クロスコンディショニング分析では、モデルが生成した推論トレースによって改善が実行され、ある例ではカテゴリに依存しない `missing evidence'' 推論パターンを導き出すのに十分である。 BBQ方式のマルチチョイス禁忌ベンチマークは1つの構造的キューを計測するが、それらを解決するモデルは必ずしも公平ではない。フェアネスアライメントの幅広い範囲をカバーする評価スイートを求めている。

関連論文リスト

Procedural Fairness Failures in RLHF from Preference Averaging [0.0]
この研究は、アライメントにおける手続き的公正性を定義し、標準RLHFが嗜好平均化によってこれを侵害していることを示す。選好認識RLHF(PA-RLHF)を導入し、報酬学習段階における選好モード間の最適化を分離する。制御された設定では、PA-RLHFは全体のアライメント精度を46.9%から67.9%に改善し、最善群と最悪のアライメント群の間のフェアネスギャップを15.9から9.6ポイントに削減する。
論文参考訳（メタデータ） (2026-08-10T18:38:16Z)
The Capability Frontier: Benchmarks Miss 82% of Model Performance [7.258179693117413]
既存のベンチマークでは、1回のランで1つのモデルの精度が報告されるのが一般的である。これにより、実世界のLLM能力、特に異種データ分布を体系的に下降させる。
論文参考訳（メタデータ） (2026-06-25T10:20:47Z)
Reasoning Quality Emerges Early: Data Curation for Reasoning Models [58.56882815783977]
我々は,初期推論トークンのみを用いて,多種多様かつ挑戦的な推論例を識別可能であることを示す。本手法は,トークン効率を91%向上させながら,既存のベースラインを最大1.7%向上させる。
論文参考訳（メタデータ） (2026-06-25T09:32:58Z)
It Takes One to Bias Them All: Breaking Bad with One-Shot GRPO [44.170225015158195]
単発のGRPOトレーニングを1つのバイアスのある例で行うと、体系的なバイアスを引き起こすのに十分であることを示す。結果として、トレーニング後の重大な脆弱性が明らかになりました。
論文参考訳（メタデータ） (2026-06-09T14:44:01Z)
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
論文参考訳（メタデータ） (2026-02-04T15:24:52Z)
Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文参考訳（メタデータ） (2025-10-16T12:23:13Z)
From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文参考訳（メタデータ） (2025-09-27T08:59:31Z)
GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
論文参考訳（メタデータ） (2025-06-19T08:49:13Z)
Towards Large Language Models that Benefit for All: Benchmarking Group Fairness in Reward Models [16.977176752570617]
大規模言語モデル(LLM)は、ますます強力で、人間のユーザにとってアクセスしやすくなっている。多様な人口集団、すなわちグループフェアネスの公平性を保証することは、批判的な倫理的関心事である。この研究は、学習した報酬モデルのグループフェアネスをベンチマークする。
論文参考訳（メタデータ） (2025-03-10T19:39:39Z)
The Unbearable Weight of Massive Privilege: Revisiting Bias-Variance Trade-Offs in the Context of Fair Prediction [7.975779552420981]
単一モデルによるトレードオフを改善することを目的とした条件付きid(ciid)モデルを提案する。我々は、CompASおよびフォークテーブルデータセット上で、我々の設定を実証的にテストする。分析の結果,条件付きモデルが好まれる原則的手順や具体的な実世界のユースケースが存在する可能性が示唆された。
論文参考訳（メタデータ） (2023-02-17T05:34:35Z)
On Comparing Fair Classifiers under Data Bias [42.43344286660331]
本研究では,データ偏差の変化が公正分類器の精度と公平性に及ぼす影響について検討する。我々の実験は、既存のフェアネスダッシュボードにデータバイアスリスクの尺度を統合する方法を示している。
論文参考訳（メタデータ） (2023-02-12T13:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。