論文の概要: Gradient-Adaptive Policy Optimization: Towards Multi-Objective Alignment of Large Language Models

• arxiv url: http://arxiv.org/abs/2507.01915v1
• Date: Wed, 02 Jul 2025 17:25:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.397652
• Title: Gradient-Adaptive Policy Optimization: Towards Multi-Objective Alignment of Large Language Models
• Title（参考訳）: グラディエント・アダプティブ・ポリシー最適化:大規模言語モデルの多目的アライメントを目指して
• Authors: Chengao Li, Hanyu Zhang, Yunkun Xu, Hongyan Xue, Xiang Ao, Qing He,
• Abstract要約: Reinforcement Learning from Human Feedbackは、大きな言語モデルと人間の好みを整合させる強力なテクニックとして登場した。 人的価値アライメントは多目的最適化問題であり、潜在的な競合する対象の集合を最大化することを目的としている。 我々は,LLMを様々な好み分布に整合させるために,多段降下を用いた新しい微調整パラダイムであるGAPOを紹介した。
• 参考スコア（独自算出の注目度）: 19.559468441956714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) has emerged as a powerful technique for aligning large language models (LLMs) with human preferences. However, effectively aligning LLMs with diverse human preferences remains a significant challenge, particularly when they are conflict. To address this issue, we frame human value alignment as a multi-objective optimization problem, aiming to maximize a set of potentially conflicting objectives. We introduce Gradient-Adaptive Policy Optimization (GAPO), a novel fine-tuning paradigm that employs multiple-gradient descent to align LLMs with diverse preference distributions. GAPO adaptively rescales the gradients for each objective to determine an update direction that optimally balances the trade-offs between objectives. Additionally, we introduce P-GAPO, which incorporates user preferences across different objectives and achieves Pareto solutions that better align with the user's specific needs. Our theoretical analysis demonstrates that GAPO converges towards a Pareto optimal solution for multiple objectives. Empirical results on Mistral-7B show that GAPO outperforms current state-of-the-art methods, achieving superior performance in both helpfulness and harmlessness.
• Abstract（参考訳）: RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデル(LLM)と人間の嗜好を整合させる強力な手法として登場した。 しかし、LLMを多種多様な人間の嗜好と効果的に整合させることは、特に対立している場合に重要な課題である。 この問題に対処するために,人間の価値アライメントを多目的最適化問題として捉え,潜在的に矛盾する対象の集合を最大化することを目的とした。 我々は,LLMを様々な好み分布に整合させるために,多段降下を用いた新しい微調整パラダイムであるGAPOを紹介した。 GAPOは、目標間のトレードオフを最適にバランスする更新方向を決定するために、各目標の勾配を適応的に再スケールする。 さらに、P-GAPOを導入し、異なる目的にまたがってユーザの好みを取り入れ、ユーザのニーズに合ったParetoソリューションを実現する。 理論解析により,GAPOは複数の目的に対してパレート最適解へと収束することを示した。 Mistral-7Bの実証実験の結果,GAPOは現在の最先端手法よりも優れており,有用性と無害性の両方において優れた性能を示した。

関連論文リスト

• Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models [15.799929216215672]
  制約付きKL正規化最適化としてアライメントをフレーム化するMOPOアルゴリズムを提案する。 以前の作業とは異なり、MOPOはペアワイズ好みのデータを直接操作し、ポイントワイズ報酬の仮定を必要とせず、プロンプトコンテキストエンジニアリングを避ける。
  論文  参考訳（メタデータ） (2025-05-16T05:58:26Z)
• Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment [74.25832963097658]
  マルチオブジェクトアライメント(MOA)は、応答を複数の人間の嗜好目標に合わせることを目的としている。 DPOをベースとしたMOAアプローチは、データに広範囲にわたる優先的対立に悩まされている。
  論文  参考訳（メタデータ） (2025-02-20T08:27:00Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)
• Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
  複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。 MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。 理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
  論文  参考訳（メタデータ） (2023-10-05T17:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。