論文の概要: Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data

• arxiv url: http://arxiv.org/abs/2609.16532v1
• Date: Tue, 15 Sep 2026 02:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.30713
• Title: Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data
• Title（参考訳）: スタイルデバイアスドDPO:Factality-Aware Synthetic Preference Dataを用いたLLM知識の更新
• Abstract要約: 保管側よりも勧誘側について検討する。 我々は好みの最適化を使い、好みの(ちょうせん)と好ましくない(拒絶)応答のペアから学習する。 本稿では,各ペアの拒否応答が実際に正しいかどうかを判定し,それらのペアの嗜好を逆転させ,スタイルの違いによる学習信号が全体としてキャンセルされるように重み付けするDPO(SD-DPO)を提案する。
• 参考スコア（独自算出の注目度）: 11.157564521901634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continued pretraining (CPT) with data augmentation such as paraphrasing can store inside a large language model (LLM) the knowledge of a small source corpus. The stored knowledge, however, is not always retrieved correctly. We study the eliciting side rather than the storing side: we use preference optimization, which learns from pairs of a preferred (chosen) and a dispreferred (rejected) response, so that the model elicits its stored knowledge more accurately. One proposed approach takes the model's own erroneous response as rejected and the gold answer as chosen, so as to suppress the error. When the target knowledge is partially known, however, most of these rejected responses are factually correct. Using direct preference optimization (DPO) then pushes down rejected responses that contain correct knowledge and differ from the chosen answer only in style, such as length and wording. We propose style-debiased DPO (SD-DPO), which scores whether the rejected response of each pair is factually correct, inverts the preference of such pairs, and weights them so that the learning signal due to differences in style cancels out as a whole. We first test whether, on top of EntiGraph, a representative storing-side method that runs CPT on text synthesized from the corpus, our method adds accuracy efficiently. On QuALITY, the reading-comprehension QA benchmark on which EntiGraph was evaluated, SD-DPO exceeds a baseline we CPT on EntiGraph's synthetic data from the same base model and evaluate with the same procedure. The training tokens this requires are a few dozen times fewer than the additional CPT needed for the same gain. For knowledge updating, the main goal of this work, we use AToKE, a knowledge-editing benchmark for facts that change over time. There, SD-DPO reaches an overall accuracy of 0.982 and answers with the new or the old fact according to the queried period.
• Abstract（参考訳）: パラフレージングのようなデータ拡張を伴う継続事前トレーニング(CPT)は、小さなソースコーパスの知識を大きな言語モデル(LLM)内に格納することができる。 しかし、記憶されている知識は必ずしも正しく回収されるわけではない。 我々は、好み(調味)と好ましくない(拒絶)応答のペアから学習する選好最適化を使い、モデルがより正確に記憶された知識を引き出す。 1つの提案されたアプローチは、モデル自身の誤った応答を拒否され、金の答えが選択され、エラーを抑える。 しかし、対象とする知識が部分的に知られている場合、これらの拒否された応答のほとんどは事実的正解である。 直接選好最適化(DPO)を使用して、正しい知識を含む拒絶された応答を押し下げ、長さや単語などのスタイルでのみ選択された回答と異なる。 本稿では,各ペアの拒否応答が実際に正しいかどうかを判定し,それらのペアの嗜好を逆転させ,スタイルの違いによる学習信号が全体としてキャンセルされるように重み付けするDPO(SD-DPO)を提案する。 コーパスから合成したテキスト上でCPTを実行する代表的ストアサイドメソッドであるEntiGraph上で,本手法が精度を向上するかどうかを検証した。 In QuALITY, the reading-comprehension QA benchmark on EntiGraph was evaluation, SD-DPO is than a baseline we CPT on the EntiGraph's synthetic data from the same base model and evaluation with the same procedure。 これを必要とするトレーニングトークンは、同じゲインに必要な追加のCPTよりも数十倍少なくなります。 この作業の主目的である知識更新には、時間とともに変化する事実の知識編集ベンチマークであるAToKEを使用します。 そこでSD-DPOは0.982の総合精度に達し、問い合わせ期間に応じて新しい事実や古い事実に答える。

関連論文リスト

• SP^2DPO: An LLM-assisted Semantic Per-Pair DPO Generalization [38.55012111778011]
  本研究では,SP2DPO(Semantic Per-Pair DPO)を紹介する。 我々はAlpacaEval 2.0に関する実証研究に焦点を合わせ、生の勝利率と長さ制御の勝利率の両方を報告した。
  論文  参考訳（メタデータ） (2026-01-29T22:46:11Z)
• Reinforcement Learning via Self-Distillation [37.078107691613155]
  大規模言語モデルは、コードや数学などの検証可能な領域で強化学習を施して、ポストトレーニングされている。 検証可能な報酬(RLVR)を用いた強化学習の現在の手法は、試みごとにスカラーな結果報酬からのみ学習し、深刻な信用割り当てボトルネックを生み出す。 我々は、この設定をリッチフィードバックによる強化学習として定式化し、自己蒸留政策最適化(SDPO)を導入する。 SDPOは、トークン化されたフィードバックを、外部教師や明示的な報酬モデルなしで、密集した学習信号に変換する。
  論文  参考訳（メタデータ） (2026-01-28T17:45:12Z)
• Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF [67.48004037550064]
  本稿では,プロンプトと選好のペアを効率的に選択する能動的学習手法を提案する。 提案手法は,モデル更新に対する影響を評価するために,すべての潜在的選好アノテーションの勾配を評価する。 実験の結果,提案手法は,選択した完了に対する勝利率を最大5%向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-28T04:22:53Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Knowledge Editing in Language Models via Adapted Direct Preference Optimization [50.616875565173274]
  大きな言語モデル(LLM)は、時間とともに時代遅れになる可能性がある。 知識編集は、高価なリトレーニングを必要としないウェイトアップデートを使用して、この課題を克服することを目的としている。
  論文  参考訳（メタデータ） (2024-06-14T11:02:21Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation [56.57532238195446]
  本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。 メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-07-10T08:03:41Z)
• Source-Free Domain Adaptation for SSVEP-based Brain-Computer Interfaces [0.45880283710344055]
  SSVEPベースのBCIスペルは、迅速なコミュニケーションを可能にすることで、発話困難を経験する個人を支援する。 高い情報伝達率(ITR)を達成するには、システムを使用する前に広範囲の校正期間が必要となる。 我々は、ソースドメインのデータに基づいて事前訓練された強力なディープニューラルネットワーク(DNN)を適用する新しい手法を提案し、この問題に対処する。
  論文  参考訳（メタデータ） (2023-05-27T08:02:46Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。