論文の概要: PEO: Improving Bi-Factorial Preference Alignment with Post-Training Policy Extrapolation

• arxiv url: http://arxiv.org/abs/2503.01233v1
• Date: Mon, 03 Mar 2025 06:56:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:20:22.522736
• Title: PEO: Improving Bi-Factorial Preference Alignment with Post-Training Policy Extrapolation
• Title（参考訳）: PEO:訓練後政策外挿による双方向の選好調整の改善
• Authors: Yuxuan Liu,
• Abstract要約: ポストトレーニング外挿最適化(PEO)は、二要素アライメントのための新しく効率的なフレームワークである。 PEOは3相パイプラインを利用して、1つのトレーニングパスで最適なポリシーのファミリーを生成する。
• 参考スコア（独自算出の注目度）: 5.347428263669927
• License:
• Abstract: The alignment of large language models with human values presents a critical challenge, particularly when balancing conflicting objectives like helpfulness and harmlessness. Existing approaches, such as Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), face notable limitations: RLHF suffers from instability and inefficiency in multi-objective optimization, while DPO lacks mechanisms for dynamic trade-offs. To address these challenges, we propose Post-Training Extrapolation Optimization (PEO), a novel and efficient framework for bi-factorial alignment. PEO generates a family of Pareto-optimal policies in a single training pass by leveraging a three-phase pipeline: (1) aspect-specific learning, (2) generalist initialization via interpolation, and (3) post-training optimization via extrapolation. PEO enables dynamic adaptation to diverse user preferences at inference time without retraining. Our comprehensive experiments across multiple LLMs demonstrate that PEO achieves superior Pareto fronts compared to baselines, offering improved flexibility and computational efficiency. Theoretical analyses further highlight PEO's capacity to overcome optimization bottlenecks, paving the way for scalable, personalized alignment.
• Abstract（参考訳）: 大きな言語モデルと人間の価値の整合性は、特に役立ちや無害といった相反する目標のバランスをとる場合、重要な課題となる。 Reinforcement Learning from Human Feedback (RLHF) や Direct Preference Optimization (DPO) といった既存のアプローチは、注目すべき制限に直面している。 これらの課題に対処するため,両要素アライメントのための新規かつ効率的なフレームワークであるPEO(Post-Training Extrapolation Optimization)を提案する。 PEOは,(1)アスペクト特化学習,(2)補間による一般化初期化,(3)補間による学習後の最適化という3段階のパイプラインを利用して,1つのトレーニングパスでパレート最適ポリシーのファミリーを生成する。 PEOは、推論時間における多様なユーザの好みへの動的適応を可能にする。 複数のLLMに対して総合的な実験を行った結果,PEOはベースラインよりも優れたパレートを達成でき,柔軟性と計算効率が向上した。 理論的分析は、PEOが最適化ボトルネックを克服し、スケーラブルでパーソナライズされたアライメントを実現する能力をさらに強調している。

関連論文リスト

• REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models [2.9668561417979356]
  本稿では,従来のREINFORCEアルゴリズムの拡張版であるREINFORCE++について述べる。 ReINFORCE++は、(1)単純さ、(2)訓練安定性の強化、(3)計算オーバーヘッドの削減の3つの主な目的を達成する。
  論文  参考訳（メタデータ） (2025-01-04T02:08:06Z)
• Teaching LLMs to Refine with Tools [68.23479664749271]
  大規模言語モデル(LLM)はフィードバックに基づいて応答を洗練し、反復的なトレーニングやテスト時間の改良を通じて自己改善を可能にする。 外部ツールを用いて同一または他のLLMによって生成されたチェーン・オブ・シント(CoT)応答を洗練するための新しいアプローチであるCaPを提案する。
  論文  参考訳（メタデータ） (2024-12-22T05:43:50Z)
• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Hybrid Preference Optimization: Augmenting Direct Preference Optimization with Auxiliary Objectives [0.5120567378386615]
  大規模言語モデル(LLM)を協調するハイブリッドアプローチを提案する。 DPO の暗黙的な報酬分解に対する単純な拡張により、任意の補助報酬の集合を最大化するために LLM をチューニングできる。 提案手法であるHybrid Preference Optimization (HPO) は,ユーザの好みと補助的な設計目的の両方に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2024-05-28T08:35:48Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Multi-Objective Reinforcement Learning-based Approach for Pressurized Water Reactor Optimization [0.0]
  PEARLは、従来のポリシーに基づく多目的強化学習法とを、単一のポリシーを学習することで区別する。 ディープラーニングと進化的テクニックにインスパイアされたいくつかのバージョンが作成され、制約のない問題ドメインと制約のない問題ドメインの両方に対応している。 2つの実用的PWRコアローディングパターン最適化問題を用いて実世界の応用性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T20:41:09Z)
• Self-Supervised Primal-Dual Learning for Constrained Optimization [19.965556179096385]
  本稿では,制約付き最適化問題の最適解を直接近似する機械学習モデルの訓練方法を検討する。 プリマル・デュアル・ラーニング(PDL, Primal-Dual Learning)は,事前解決した一連のインスタンスや,学習と推論のための最適化解法を必要としない自己指導型トレーニング手法である。
  論文  参考訳（メタデータ） (2022-08-18T20:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。