論文の概要: Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2605.02348v1
• Date: Mon, 04 May 2026 08:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.198512
• Title: Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation
• Title（参考訳）: プロセスリワードモデルによる復号時間劣化:制御されたフィルインからオープンエンデッドジェネレーションへ
• Authors: Muneeb Ur Raheem Khan,
• Abstract要約: 大規模な言語モデルは、トレーニングされたデータから社会的バイアスを拾い上げ、下流のアプリケーションにバイアスを運ぶ。 本稿では,デコーディング時にモデルをデバイアス化し,モデルの重みに触れることなく,候補トークンに対するバイアス緩和を構造化された探索として扱う。 我々は、高度化のための3つのスキーム(Best-of-N selection, Sequential critique-and-Revise, Constitutional self-audit)を設計し、4つのモデルで評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models pick up social biases from the data they are trained on and carry those biases into downstream applications, often reinforcing stereotypes around gender, race, religion, disability, age, and socioeconomic status. The standard fixes (retraining on curated data or fine-tuning with human feedback) are expensive, need access to model weights, and risk degrading the model on other tasks. In this paper we take a different route: we debias the model at decoding time, treating bias mitigation as a structured search over candidate tokens without ever touching model weights. A separate Process Reward Model (PRM) acts as a judge, scoring each candidate for both fairness and fluency. We design three schemes of increasing sophistication (Best-of-N selection, Sequential critique-and-revise, and Constitutional self-audit) and evaluate them on four models (GPT-4o-mini, Llama 3.2 3B, Gemma 3 4B, Qwen 2.5 3B) across a 200-prompt bilingual benchmark in English and Urdu covering eight bias categories. Sequential debiasing proves the most effective, raising mean bias scores by up to +0.40 over baseline while preserving (and sometimes improving) fluency. We then extend all three schemes to open-ended generation, where each token is debiased on the fly, and introduce a lightweight Bias Guard gate that fires only on potentially biased words, keeping overhead near 2x for well-calibrated models. A formal overhead metric that separates generator cost from judge cost reveals that Best-of-N is effectively free on the generator side in a native implementation. GPT-4o-mini, included as a strong proprietary anchor, confirms that the framework scales with model capability; the three open-weight models show where current small-scale LLMs still struggle.
• Abstract（参考訳）: 大規模な言語モデルは、訓練されたデータから社会的バイアスを拾い上げ、それらのバイアスを下流のアプリケーションに運び、しばしば性別、人種、宗教、障害、年齢、社会経済状態に関するステレオタイプを補強する。 標準的な修正(キュレートされたデータや人間のフィードバックによる微調整)は高価で、モデルウェイトへのアクセスが必要で、他のタスクでモデルが劣化するリスクがあります。 本稿では,デコーディング時にモデルをデバイアス化し,モデルの重みに触れることなく,候補トークンに対するバイアス緩和を構造化された探索として扱う。 個別のプロセス・リワード・モデル(PRM)が審査員として働き、公正さと流用度の両方で各候補をスコア付けする。 我々は、英語とウルドゥー語で200-promptのバイリンガルベンチマークを用いて、高度化(Best-of-N selection, Sequential critique-and-Revise, Constitutional self-audit)の3つのスキームを設計し、これらをGPT-4o-mini, Llama 3.2 3B, Gemma 3 4B, Qwen 2.5 3B)の4つのモデル(GPT-4o-mini, Llama 3.2 3B, Qwen 2.5 3B)で評価する。 逐次脱バイアスは最も効果的であることが証明され、平均バイアススコアがベースライン以上で+0.40まで上昇する一方で、流速を保ち(時には改善する)。 次に、3つのスキームを全てオープンエンド世代に拡張し、各トークンを脱バイアスし、バイアスのある単語だけを発射する軽量のバイアスガードゲートを導入し、よく校正されたモデルのオーバーヘッドを2倍に抑える。 判断コストからジェネレータコストを分離する正式なオーバーヘッドメトリクスは、ネイティブ実装において、Best-of-Nがジェネレータ側で事実上フリーであることを明らかにする。 GPT-4o-miniは強力なプロプライエタリアンカーとして含まれており、フレームワークがモデル能力とスケールできることを確認している。

関連論文リスト

• Bias Fitting to Mitigate Length Bias of Reward Model in RLHF [81.44256822500257]
  人間のフィードバックからの強化学習は、大きな言語モデルと人間の好みを合わせるための報酬モデルに依存している。 バイアスパターンを自律的に学習し,修正するフレームワークであるFiMi-RMを提案する。 実験により,FiMi-RMはよりバランスの取れた長さ逆分布を実現することが示された。
  論文  参考訳（メタデータ） (2025-05-19T08:29:28Z)
• Bias Similarity Measurement: A Black-Box Audit of Fairness Across LLMs [35.72288339965426]
  バイアス類似度測定(BSM)は、公平性をモデル間の関係性として扱う。 オープンウェイトモデルは、プロプライエタリなシステムと一致したり、超えたりすることができる。 BSMは、調達、回帰テスト、系統スクリーニングのための監査ワークフローを提供する。
  論文  参考訳（メタデータ） (2024-10-15T19:21:14Z)
• Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models [56.02275285521847]
  LLm評価器のパネル(PoLL)を用いた評価モデルを提案する。 より多数の小さなモデルで構成されたPoLLは,1つの大判定器より優れ,不整合モデルファミリーの構成によるモデル内バイアスが小さく,しかも7倍以上のコストがかかる。
  論文  参考訳（メタデータ） (2024-04-29T15:33:23Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Keeping Up with the Language Models: Systematic Benchmark Extension for Bias Auditing [33.25539075550122]
  我々は, LM生成語彙変動, 逆フィルタリング, 人間の検証を組み合わせることで, 既存のNLIのバイアスベンチマークを拡張した。 BBNLI-nextは最先端のNLIモデルの精度を95.3%から57.5%に下げることを示した。 バイアスとモデル脆性の両方を考慮したバイアス対策を提案する。
  論文  参考訳（メタデータ） (2023-05-22T01:02:45Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。