論文の概要: Self-Evolution Fine-Tuning for Policy Optimization

• arxiv url: http://arxiv.org/abs/2406.10813v1
• Date: Sun, 16 Jun 2024 06:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 20:41:29.324742
• Title: Self-Evolution Fine-Tuning for Policy Optimization
• Title（参考訳）: 政策最適化のための自己進化ファインチューニング
• Authors: Ruijun Chen, Jiehao Liang, Shiping Gao, Fanqi Wan, Xiaojun Quan,
• Abstract要約: 政策最適化のための自己進化微調整(SEFT)を導入する。 SEFTは、教師付き微調整の安定性と効率を保ちながら、注釈付きサンプルの必要性を排除している。 この手法の顕著な特徴の1つは、ポリシー最適化のために無注釈データを無制限に活用できることである。
• 参考スコア（独自算出の注目度）: 22.629113943131294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The alignment of large language models (LLMs) is crucial not only for unlocking their potential in specific tasks but also for ensuring that responses meet human expectations and adhere to safety and ethical principles. Current alignment methodologies face considerable challenges. For instance, supervised fine-tuning (SFT) requires extensive, high-quality annotated samples, while reinforcement learning from human feedback (RLHF) is complex and often unstable. In this paper, we introduce self-evolution fine-tuning (SEFT) for policy optimization, with the aim of eliminating the need for annotated samples while retaining the stability and efficiency of SFT. SEFT first trains an adaptive reviser to elevate low-quality responses while maintaining high-quality ones. The reviser then gradually guides the policy's optimization by fine-tuning it with enhanced responses. One of the prominent features of this method is its ability to leverage unlimited amounts of unannotated data for policy optimization through supervised fine-tuning. Our experiments on AlpacaEval 2.0 and MT-Bench demonstrate the effectiveness of SEFT. We also provide a comprehensive analysis of its advantages over existing alignment techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは、特定のタスクにおける潜在能力を解放するだけでなく、人間の期待に応え、安全性と倫理的原則に従うためにも不可欠である。 現在のアライメント手法は大きな課題に直面している。 例えば、教師付き微調整(SFT)は、広範囲で高品質な注釈付きサンプルを必要とするが、人間からのフィードバック(RLHF)からの強化学習は複雑で不安定であることが多い。 本稿では,SFTの安定性と効率を保ちつつ,注釈付きサンプルの必要性を解消することを目的として,政策最適化のための自己進化微調整(SEFT)を導入する。 SEFTは、まず適応的なリバイザを訓練し、高品質なレスポンスを維持しながら、低品質なレスポンスを高める。 その後、リバイザはポリシーの最適化を改良された応答で微調整することで徐々にガイドする。 この手法の特長の1つは、教師付き微調整により、ポリシー最適化のために無注釈データを無制限に活用できることである。 AlpacaEval 2.0とMT-Benchの実験はSEFTの有効性を実証した。 また、既存のアライメント技術に対する利点を包括的に分析する。

関連論文リスト

• Joint Demonstration and Preference Learning Improves Policy Alignment with Human Feedback [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
  オンラインとオフラインのRLHFに統一的なアプローチを導入します。 VPOは、報酬関数の最大値推定を対応する値関数で正規化する。 テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-29T17:51:42Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Intuitive Fine-Tuning: Towards Simplifying Alignment into a Single Process [26.196705232699884]
  直感的ファインチューニング(IFT)を導入し,SFTと優先度最適化をひとつのプロセスに統合する。 IFTは、SFTのシーケンシャルなレシピやいくつかの典型的なPreference Optimizationメソッドと相容れないか、それ以上に優れている。 説明可能なフロズンレイクゲームは、競争政策を得るためのIFTの有効性をさらに検証する。
  論文  参考訳（メタデータ） (2024-05-20T08:23:28Z)
• FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
  EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。 従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。 本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T08:34:05Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Constrained Variational Policy Optimization for Safe Reinforcement Learning [40.38842532850959]
  安全強化学習は、安全クリティカルなアプリケーションにデプロイする前に、一定の制約を満たすポリシーを学ぶことを目的としている。 主要な制約付き最適化フレームワークとしての原始双対は不安定な問題に悩まされ、最適性の保証が欠如している。 本稿では,新しい確率的推論の観点から問題を克服し,安全政策を学習するための期待最大化方式を提案する。
  論文  参考訳（メタデータ） (2022-01-28T04:24:09Z)
• Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning [10.457660611114457]
  オフライン強化学習において、異なるトレーニングアルゴリズムによって生成される価値関数とポリシーの選択方法を示す。 我々は,近年の値関数選択の理論的進歩であるBVFT[XJ21]を用いて,Atariなどの離散作用ベンチマークにおいて,その有効性を示す。
  論文  参考訳（メタデータ） (2021-10-26T20:12:11Z)
• Where is the Grass Greener? Revisiting Generalized Policy Iteration for Offline Reinforcement Learning [81.15016852963676]
  オフラインRL体制における最先端のベースラインを、公正で統一的で高分解能なフレームワークの下で再実装する。 与えられたベースラインが、スペクトルの一方の端で競合する相手よりも優れている場合、他方の端では決してしないことを示す。
  論文  参考訳（メタデータ） (2021-07-03T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。