論文の概要: BA-DPO: Bias-Adjusted Direct Preference Optimization for Language Model Alignment

• arxiv url: http://arxiv.org/abs/2609.35044v1
• Date: Mon, 28 Sep 2026 12:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:28:12.056162
• Title: BA-DPO: Bias-Adjusted Direct Preference Optimization for Language Model Alignment
• Title（参考訳）: BA-DPO: 言語モデルアライメントのためのバイアス調整直接参照最適化
• Abstract要約: Bias-Adjusted DPOは、宣言された属性を持つ応答に対してアノテータ毎に1つのバイアスパラメータを追加するDPOの一般化である。 我々は、目的がバイアスパラメータの凸であり、各アノテータのバイアスを共有定数まで識別することを証明する。 植込みバイアスのあるコーパスでは、DPOはバランスの取れたスタートから確率0.96まで特性を駆動し、BA-DPOはそのシフトの81から95%を除去する。
• 参考スコア（独自算出の注目度）: 7.823357089889233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference-based alignment methods such as Direct Preference Optimization (DPO) use pairwise preferences labeled by human annotators to fine-tune language models. However, annotators carry systematic biases toward some attributes: a name that signals a gender or an ethnicity, a persona, a language variety, a formatting convention, or length. If not properly addressed, these systematic biases can be absorbed and amplified during alignment. Existing methods address length bias or annotator disagreement, but fail to eliminate biases toward arbitrary attributes. To address this limitation, we propose Bias-Adjusted DPO (BA-DPO), a generalization of DPO that adds one bias parameter per annotator toward responses carrying a declared attribute. We prove that the objective is convex in the bias parameters and that the votes identify each annotator's bias up to a shared constant. The remaining constant is what fixes the aligned model's attribute rate: by default the rate of the reference model, or a target rate, which we use to bring a biased policy to statistical parity. On a corpus with planted biases, DPO drives the attribute from a balanced start to probability 0.96 and BA-DPO removes 81 to 95\% of that shift; on MultiPref with real annotators it removes about half of DPO's lengthening. Both hold at 0.5B with full fine-tuning and at 8B with LoRA, at no higher KL than DPO and no loss in judged quality.
• Abstract（参考訳）: 直接選好最適化(DPO)のような嗜好に基づくアライメント手法は、人間のアノテータによってラベル付けされたペアワイズな選好を微調整言語モデルに利用する。 しかし、アノテータは、性別や民族、ペルソナ、言語の種類、フォーマッティングの慣例、長さなど、いくつかの属性に対する体系的な偏見を持っている。 適切に対処しなければ、これらの体系的バイアスは、アライメント中に吸収され増幅される。 既存の方法は長さバイアスやアノテーションの不一致に対処するが、任意の属性に対するバイアスを排除できない。 この制限に対処するために、宣言された属性を持つ応答に対してアノテータ毎に1つのバイアスパラメータを追加するDPOの一般化であるBias-Adjusted DPO(BA-DPO)を提案する。 我々は、目的がバイアスパラメータの凸であり、各アノテータのバイアスを共有定数まで識別することを証明する。 残りの定数は、整列モデルの属性率の修正である:デフォルトでは、参照モデルのレート、あるいはターゲットレートであり、統計パリティに偏りのあるポリシーをもたらすために使用します。 植込みバイアスのあるコーパスでは、DPOはバランスの取れたスタートから確率0.96まで特性を駆動し、BA-DPOはそのシフトの81から95%を除去する。 いずれも0.5Bでフル微調整、8BでLoRAで保持し、DPOよりKL高く、判定された品質を損なわない。

関連論文リスト

• Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems [72.27018654934386]
  直接選好最適化(DPO)は、ペアの選好に基づく大規模言語モデル(LLM)の簡易かつ効果的なアライメント戦略である。 しかし、レコメンデーションシステムでは、ユーザからのフィードバックがペアワイズであることは滅多にない。 提案するMult-DPOは,LLMベースのレコメンデータシステムのユーザ嗜好アライメントのための,設定された選好イベントに対するトラクタブルな多項サロゲート確率である。
  論文  参考訳（メタデータ） (2026-06-08T18:53:45Z)
• Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
  直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。 この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
  論文  参考訳（メタデータ） (2026-02-12T12:55:51Z)
• A Statistical Framework for Alignment with Biased AI Feedback [20.653424560119554]
  AIラベルは、高品質な人間のフィードバックデータセットと比較して体系的にバイアスを受けることができる。 本研究では,不均一なプロンプト応答分布と外部からのフィードバック源に対応する2つの非バイアスアライメント手法を開発した。 感情生成,要約,シングルターン対話に関する実証研究により,提案手法はアライメント効率を著しく向上し,完全に人間ラベル付きデータに基づいて訓練されたオラクルに近い性能を回復することを示した。
  論文  参考訳（メタデータ） (2026-02-09T04:37:10Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。