論文の概要: Gradient-Aligned Pair Selection for Personalized Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.00061v1
• Date: Fri, 04 Sep 2026 05:37:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.336913
• Title: Gradient-Aligned Pair Selection for Personalized Preference Optimization
• Title（参考訳）: パーソナライズされた選好最適化のための勾配適応型ペア選択
• Abstract要約: 幾何学的最適化問題としてパーソナライズされた選好学習について検討する。 本稿では,GAP-DPO(Geometry-Aligned Preference DPO)を提案する。 パーソナライズされたテキスト生成ベンチマークの実験では、GAP-DPOはスタイリスティックな忠実さ、好みのアライメント、生成品質を一貫して改善している。
• 参考スコア（独自算出の注目度）: 20.08973703149731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalizing large language models (LLMs) requires aligning generation behavior with user-specific preferences rather than aggregate quality. While Direct Preference Optimization (DPO) provides a stable framework for preference learning, its effectiveness in personalized settings critically depends on how preference pairs are selected. Existing approaches typically rely on heuristic criteria, such as likelihood-based extremes, which decouple optimization from explicit user utility and can lead to degraded personalization. We formalize personalized preference learning as a geometry-aligned optimization problem by analyzing the first-order interaction between gradients of expected user utility and DPO update directions. Our analysis reveals that, under off-policy sampling, the DPO update transitions from a purely error-corrective signal to a reinforcement-like update when preference margins are directionally aligned with utility gradients. This perspective exposes pair selection as a geometric decision that governs whether preference optimization advances or hinders personalization. Motivated by this insight, we propose GAP-DPO (Geometry-Aligned Preference DPO), an iterative algorithm that performs utility-aware, geometry-aligned pair selection while controlling distribution shift via epoch-wise regeneration. Experiments on personalized text generation benchmarks show that GAP-DPO consistently improves stylistic fidelity, preference alignment, and generation quality compared to standard DPO variants. Together, our results establish gradient alignment as a unifying principle for personalized preference optimization and demonstrate that pair selection is an intrinsic component of the optimization geometry rather than a heuristic preprocessing step.
• Abstract（参考訳）: 大規模言語モデル(LLM)をパーソナライズするには、生成行動とユーザ固有の嗜好の整合が必要である。 直接選好最適化(DPO)は、嗜好学習のための安定したフレームワークを提供するが、パーソナライズされた設定における有効性は、選好ペアの選択方法に大きく依存する。 既存のアプローチは一般的に、オプティマイゼーションを明示的なユーザユーティリティから切り離し、低下したパーソナライゼーションにつながる、可能性に基づくエフェクトのようなヒューリスティックな基準に依存している。 我々は、期待されるユーザユーティリティの勾配とDPO更新方向の1次相互作用を解析することにより、幾何学的に整合した最適化問題としてパーソナライズされた好み学習を定式化する。 分析の結果,DPO更新は非政治的サンプリングの下で純粋に誤り訂正信号から強化的更新へと移行することが明らかとなった。 この観点は、好みの最適化が進むかパーソナライズを妨げるかを決定する幾何学的決定としてペア選択を公開している。 そこで本研究では,GAP-DPO(Geometry-Aligned Preference DPO)を提案する。 パーソナライズされたテキスト生成ベンチマークの実験では、GAP-DPOは標準のDPOモデルと比較して、スタイリスティックな忠実さ、好みのアライメント、生成品質を一貫して改善している。 そこで本研究では, 最適化最適化の統一原理として勾配アライメントを確立し, ペア選択がヒューリスティックな前処理ステップではなく, 最適化幾何学の本質的な構成要素であることを実証した。

関連論文リスト

• Tangent Space Fine-Tuning for Directional Preference Alignment in Large Language Models [0.2538209532048867]
  私たちのゴールは、原則と制御可能なアライメントを通じて、大きな言語モデルで人間の好みの次元をバランスさせることです。 本稿では、局所線形な状態下でDPOを実行し、オブジェクトごとの更新方向を学習するTangent-Space Direct Preference Optimization (TS-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T09:56:28Z)
• Smoothed Preference Optimization via ReNoise Inversion for Aligning Diffusion Models with Varied Human Preferences [13.588231827053923]
  直接選好最適化(DPO)は、テキスト・ツー・イメージ(T2I)生成モデルと、ペアの選好データを用いた人間の選好を一致させる。 本稿では, DPO の目的を改善するために, 好み分布をモデル化する新しい手法である SmPO-Diffusion を提案する。 提案手法は,既存手法における過度な最適化と客観的なミスアライメントの問題を効果的に軽減する。
  論文  参考訳（メタデータ） (2025-06-03T09:47:22Z)
• ASPO: Adaptive Sentence-Level Preference Optimization for Fine-Grained Multimodal Reasoning [14.034412856423529]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)の整合性において,その単純さと計算効率に注目されている。 最近の進歩はDPOをマルチモーダルシナリオに拡張し、高いパフォーマンスを実現している。 従来のDPOは、細かなセグメントの正しさを考慮せずに、二分選好の最適化、報酬、全応答のペナルティ化に依存している。 本稿では、より正確な選好最適化のために個々の文を評価する適応文レベルの選好最適化(ASPO)を提案する。
  論文  参考訳（メタデータ） (2025-05-25T11:33:08Z)
• DreamDPO: Aligning Text-to-3D Generation with Human Preferences via Direct Preference Optimization [75.55167570591063]
  人間の好みを3D生成プロセスに統合する最適化ベースのフレームワークであるDreamDPOを提案する。 DreamDPOは、きめ細かい制御性を実現しながら、正確なポイントワイドの品質評価への依存を減らす。 実験により、DreamDPOは競争力を発揮し、高品質で制御可能な3Dコンテンツを提供することが示された。
  論文  参考訳（メタデータ） (2025-02-05T11:03:08Z)
• Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking [50.325021634589596]
  拡散モデルと人間の嗜好を整合させるためのTalored Optimization Preference(TailorPO)フレームワークを提案する。 提案手法は,ステップワイド報酬に基づいて,中間雑音のサンプルを直接ランク付けし,勾配方向の問題を効果的に解決する。 実験結果から,本手法は審美的,人為的な画像生成能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-02-01T16:08:43Z)
• Towards Improved Preference Optimization Pipeline: from Data Generation to Budget-Controlled Regularization [14.50339880957898]
  我々は、嗜好データ生成と正規化の訓練技術について、より深く検討することで、嗜好最適化パイプラインの改善を目指している。 選好データ生成のために、ペアワイズ比較信号を用いて完了の選好ランキングを導出する反復的なペアワイズランキング機構を提案する。 正規化のトレーニングでは、LLMが好むサンプルの確率をわずかに減少させると、好みの最適化がよりよく収束する傾向が観察される。
  論文  参考訳（メタデータ） (2024-11-07T23:03:11Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Generalized Preference Optimization: A Unified Approach to Offline Alignment [54.97015778517253]
  本稿では,一般的な凸関数のクラスによってパラメータ化されるオフライン損失の族である一般化された選好最適化(GPO)を提案する。 GPOは、DPO、IPO、SLiCといった既存のアルゴリズムを特別なケースとして含む、優先最適化に関する統一的なビューを可能にする。 本研究は,新たなアルゴリズムツールキットと経験的洞察を実践者のアライメントに提示する。
  論文  参考訳（メタデータ） (2024-02-08T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。