論文の概要: BiasReducer: Adaptive Bias Mitigation for Reward Models

• arxiv url: http://arxiv.org/abs/2609.32720v1
• Date: Sat, 26 Sep 2026 15:37:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:58:11.604339
• Title: BiasReducer: Adaptive Bias Mitigation for Reward Models
• Title（参考訳）: BiasReducer: Rewardモデルのための適応バイアス軽減
• Abstract要約: 逆モデルでは、大きな言語モデル(LLM)から応答をスコアする。 彼らは長さや自信などの表面的な特性を好み、LCMはより高いスコアを付けるが、より正しい応答は得られない。 線形報酬ヘッダのみを編集し、新しいデータセットごとに関連する編集を選択するフレームワークであるBiasReducerを提案する。
• 参考スコア（独自算出の注目度）: 38.16243251408656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward models score responses from large language models (LLMs) and guide LLM training toward human preferences. However, reward models can favor superficial attributes such as length or confidence, leading LLMs to produce higher-scoring but not more correct responses. Existing mitigation methods either retrain the reward model or apply a fixed correction to one known bias, such as a preference for longer responses. Retraining requires additional data and computational resources, while existing editing methods require the target bias to be specified in advance and use a fixed edit for that bias. To this end, we propose BiasReducer, a lightweight framework that edits only the linear reward head and selects the relevant edits for each new dataset. First, BiasReducer uses a sparse autoencoder (SAE)-style encoder to learn which attributes (e.g., length and confidence) the reward model is sensitive to. Second, it learns how to reduce the reward model's dependence on each attribute by determining which direction to adjust the reward head and how much to adjust it. Third, for a new dataset, it ranks the attributes by their influence on reward scores, selects the relevant ones, and edits the reward model accordingly. BiasReducer consistently improves reward-model robustness to biases toward superficial response attributes. Across five reward models, BiasReducer-M improves the three benchmarks by 8.3, 18.0, and 6.9 percentage points on average, outperforming the two training-based baselines. The gains transfer downstream, reducing unnecessary verbosity and sycophancy while maintaining comparable judged quality.
• Abstract（参考訳）: リワードモデルは、大きな言語モデル(LLM)からの応答をスコアし、LLMトレーニングを人間の好みに導く。 しかし、報酬モデルでは長さや自信などの表面的な特性が好まれ、LCMはより高いスコアを付けるが、より正しい応答は得られない。 既存の緩和法は報酬モデルを再訓練するか、より長い反応の優先順位などの既知のバイアスに固定された修正を適用する。 リトレーニングには追加のデータと計算資源が必要だが、既存の編集手法では事前に目標バイアスを指定し、そのバイアスに対して修正編集を使用する必要がある。 この目的のために、線形報酬ヘッドのみを編集し、新しいデータセットごとに関連する編集を選択する軽量フレームワークであるBiasReducerを提案する。 まず、BiasReducerはスパースオートエンコーダ(SAE)スタイルのエンコーダを使用して、どの属性(例えば、長さ、信頼)が報酬モデルに敏感であるかを学習する。 次に、各属性に対する報酬モデルの依存度をどの方向で調整するか、どのくらい調整するかを判断することにより、報酬モデルの依存度を下げる方法について学習する。 第3に、新しいデータセットでは、報酬スコアへの影響で属性をランク付けし、関連するものを選択し、それに応じて報酬モデルを編集する。 BiasReducerは、表面応答属性に対するバイアスに対する報酬モデルロバスト性を一貫して改善する。 5つの報酬モデルで、BiasReducer-Mは3つのベンチマークを平均8.3、18.0、および6.9ポイント改善し、2つのトレーニングベースラインを上回っている。 ゲインは下流に移動し、不必要な冗長性と薬効を低減し、同等の判定品質を維持する。

関連論文リスト

• RewardHarness: Self-Evolving Agentic Post-Training [51.16917192137169]
  RewardHarnessは、命令誘導画像編集のための自己進化型エージェント報酬フレームワークである。 ツールやスキルのライブラリを、100もの好みのデモから反復的に進化させることによって、人間の好みに合わせている。 画像編集評価ベンチマークの平均精度は47.4%で、GPT-5を5.3ポイント上回る。
  論文  参考訳（メタデータ） (2026-05-09T05:32:48Z)
• ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment [49.93516092785756]
  現在の報酬モデリングは、収集コストの高い実験的なフィードバックデータに大きく依存している。 ImplicitRMは、暗黙の嗜好データから偏見のない報酬モデルを学ぶことを目的としている。 実験によると、ImplicitRMは暗黙の選好データセット間で正確な報酬モデルを学ぶ。
  論文  参考訳（メタデータ） (2026-03-24T13:32:14Z)
• Reward Models Can Improve Themselves: Reward-Guided Adversarial Failure Mode Discovery for Robust Reward Modeling [27.11560841914813]
  本稿では,自己改善型報酬モデルであるREFORMを紹介する。 我々は、広く使われている2つの嗜好データセットであるArthhropic Helpful Harmless (HH)とPKU Beavertailsについて、REFORMを評価した。
  論文  参考訳（メタデータ） (2025-07-08T21:56:33Z)
• Bias Fitting to Mitigate Length Bias of Reward Model in RLHF [81.44256822500257]
  人間のフィードバックからの強化学習は、大きな言語モデルと人間の好みを合わせるための報酬モデルに依存している。 バイアスパターンを自律的に学習し,修正するフレームワークであるFiMi-RMを提案する。 実験により,FiMi-RMはよりバランスの取れた長さ逆分布を実現することが示された。
  論文  参考訳（メタデータ） (2025-05-19T08:29:28Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Post-hoc Reward Calibration: A Case Study on Length Bias [38.47276516266]
  リワードモデル(RM)は、トレーニングデータに突発的な相関を利用してバイアスを発生させることができる。 これらのバイアスは、誤った出力ランキング、準最適モデル評価、望ましくない振る舞いの増幅につながる可能性がある。 本稿では、追加データやトレーニングを使わずにバイアスを修正するという課題に対処する。
  論文  参考訳（メタデータ） (2024-09-25T22:30:42Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。