論文の概要: Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?

• arxiv url: http://arxiv.org/abs/2604.08723v1
• Date: Thu, 09 Apr 2026 19:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.55819
• Title: Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?
• Title（参考訳）: Deltaを分解する: モデルが推奨ペアから実際に学ぶものは何か?
• Authors: Chia-Hsuan Lee, Mingyang Zhou, Renkun Ni, Zelei Cheng, Sihui Dai, Supriyo Chakraborty, Shixiong Zhang, Sambit Sahu, William Campbell,
• Abstract要約: 選好データにおける品質デルタの2つの概念、すなわちジェネレータレベルデルタとサンプルレベルデルタについて検討する。 ジェネレータレベルの差分の増加は、ドメイン外推論タスクのパフォーマンスを着実に向上させる。 提案手法は,選好最適化により推論性能を向上させるための2つのレシピを提案する。
• 参考スコア（独自算出の注目度）: 17.300325236602337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference optimization methods such as DPO and KTO are widely used for aligning language models, yet little is understood about what properties of preference data drive downstream reasoning gains. We ask: what aspects of a preference pair improve a reasoning model's performance on general reasoning tasks? We investigate two distinct notions of quality delta in preference data: generator-level delta, arising from the differences in capability between models that generate chosen and rejected reasoning traces, and sample-level delta, arising from differences in judged quality differences within an individual preference pair. To study generator-level delta, we vary the generator's scale and model family, and to study sample-level delta, we employ an LLM-as-a-judge to rate the quality of generated traces along multiple reasoning-quality dimensions. We find that increasing generator-level delta steadily improves performance on out-of-domain reasoning tasks and filtering data by sample-level delta can enable more data-efficient training. Our results suggest a twofold recipe for improving reasoning performance through preference optimization: maximize generator-level delta when constructing preference pairs and exploit sample-level delta to select the most informative training examples.
• Abstract（参考訳）: DPOやKTOといった優先最適化手法は言語モデルの整合化に広く用いられているが、優先データの性質が下流の推論にどのような影響を及ぼすかはほとんど分かっていない。 一般的な推論タスクにおいて、選好ペアのどの側面が推論モデルのパフォーマンスを改善するのか? 選好データにおける品質デルタの2つの異なる概念について検討する: 選択された推論トレースと拒否された推論トレースを生成するモデル間の能力差から生じるジェネレータレベルデルタと、個々の選好ペアにおける判定された品質差の違いから生じるサンプルレベルデルタである。 ジェネレータレベルのデルタを研究するために,ジェネレータのスケールとモデルファミリーを変化させ,サンプルレベルのデルタを研究するために,複数の推論品質次元に沿って生成されたトレースの品質を評価するためにLLM-as-a-judgeを用いた。 ジェネレータレベルのデルタの増加はドメイン外の推論タスクのパフォーマンスを着実に改善し、サンプルレベルのデルタによるデータをフィルタリングすることで、よりデータ効率のよいトレーニングが可能になる。 選好ペア構築時の生成レベルデルタを最大化し,サンプルレベルデルタを有効活用し,最も有意義なトレーニング例を選択する。

関連論文リスト

• The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains [50.66245575710432]
  個々のデータポイントからなるペアの嗜好データにより、個々のデータポイントの強度を超える利得が得られることを示す。 私たちの研究は、モデルが一般的に弱いと考えられるペアデータから驚くほどうまく学習できることを示しています。
  論文  参考訳（メタデータ） (2025-07-08T17:14:44Z)
• Calibrated Multi-Preference Optimization for Aligning Diffusion Models [90.15024547673785]
  Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。 実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T18:59:23Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。