論文の概要: Intuitive Fine-Tuning: Towards Unifying SFT and RLHF into a Single Process
- arxiv url: http://arxiv.org/abs/2405.11870v1
- Date: Mon, 20 May 2024 08:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 13:44:14.796936
- Title: Intuitive Fine-Tuning: Towards Unifying SFT and RLHF into a Single Process
- Title（参考訳）: 直感的な微調整:SFTとRLHFを単一プロセスに統合する
- Authors: Ermo Hua, Biqing Qi, Kaiyan Zhang, Yue Yu, Ning Ding, Xingtai Lv, Kai Tian, Bowen Zhou,
- Abstract要約: Supervised Fine-Tuning (SFT) と Reinforcement Learning from Human Feedback (RLHF) は、事前トレーニング後の言語モデル(LM)の機能を強化するための2つのプロセスである。
Intuitive Fine-tuning (IFT)を導入し、SFTとRLHFを単一のプロセスに統合する。
- 参考スコア（独自算出の注目度）: 26.196705232699884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF) are two fundamental processes for enhancing the capabilities of Language Models (LMs) post pre-training, aligning them better with human preferences. Although SFT advances in training efficiency, RLHF delivers better alignment, thus they are often combined. However, common practices simply apply them sequentially without unifying their optimization targets, resulting in a trade-off between fitting different objectives, and ignoring the opportunities to bridge the paradigm gap and take the strength from both. To obtain a unified understanding, we interpret SFT and RLHF using two sub-processes -- Preference Estimation and Transition Optimization -- defined at token level within the Markov Decision Process (MDP) framework. This modeling shows that SFT is only a specialized case of RLHF with inferior estimation and optimization. RLHF evaluates the quality of model's entire generated answer, whereas SFT only scores predicted tokens based on preceding tokens from target answers. Therefore, SFT overestimates the ability of model, leading to inferior optimization. Building on this view, we introduce Intuitive Fine-tuning (IFT) to integrate SFT and RLHF into a single process. IFT captures LMs' intuitive sense of the entire answers through a temporal residual connection, while using a single policy and the same volume of non-preference-labeled data as SFT. Our experiments show that IFT performs comparably or even superiorly to sequential recipes of SFT and some typical alignment methods across several tasks, particularly those requires generation, reasoning, and fact-following abilities. An explainable Frozen Lake game further validates the effectiveness of IFT.
- Abstract（参考訳）: Supervised Fine-Tuning (SFT) と Reinforcement Learning from Human Feedback (RLHF) は、事前トレーニング後の言語モデル(LM)の機能を強化するための2つの基本的なプロセスである。
SFTは訓練効率が向上するが、RLHFはより優れたアライメントを提供するため、しばしば組み合わせられる。
しかしながら、一般的なプラクティスは、最適化目標を統一することなく、それらを順次適用することで、異なる目的に合わせることと、パラダイムギャップを埋める機会を無視して、両方から強みを取るというトレードオフをもたらす。
統一的な理解を得るために,Markov Decision Process (MDP) フレームワーク内のトークンレベルで定義された2つのサブプロセスであるpreference Estimation と transition Optimization を用いて,SFT と RLHF を解釈する。
このモデリングは、SFTが劣等な推定と最適化を伴うRLHFの特殊なケースであることを示している。
RLHFは、モデル全体の回答の質を評価する一方、SFTは、ターゲットの回答から前のトークンに基づいて予測トークンをスコアする。
したがって、SFTはモデルの性能を過大評価し、劣等な最適化をもたらす。
この観点から,SFTとRLHFを単一のプロセスに統合する直観的ファインチューニング(IFT)を導入する。
IFTは、単一ポリシーとSFTと同量の非参照ラベル付きデータを用いて、LMの時間的残差接続を通して全回答の直感的な感覚を捉えている。
我々の実験は、IFTがSFTのシーケンシャルなレシピやいくつかのタスク、特に生成、推論、ファクトフォロー能力を必要とするいくつかの典型的なアライメント手法と相容れないか、あるいはそれ以上に優れていることを示した。
説明可能な凍結湖ゲームはIFTの有効性をさらに検証する。
関連論文リスト
- Direct Preference Optimization Using Sparse Feature-Level Constraints [47.15096507230884]
特徴レベルの制約付き優先度最適化は、安定性を確保しつつアライメントプロセスを簡素化するために設計された新しい手法である。
提案手法は、訓練されたスパースオートエンコーダで活性化されるスパース機能と、逐次KL分散の品質を用いて効率を向上する。
論文 参考訳（メタデータ） (2024-11-12T07:54:13Z) - UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function [18.54945183526789]
SFTとアライメントを単一のトレーニングステージに統合するUnified Fine-Tuning(UFT)を導入する。
実験結果から,UFTは命令調整データのみにおいて,SFTよりも優れていることが示された。
命令チューニングデータとアライメントデータを組み合わせることで、UFTは破滅的な忘れを効果的に防止する。
論文 参考訳（メタデータ） (2024-10-28T18:34:25Z) - TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。
TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-10-06T04:03:00Z) - ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。
ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。
大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2024-09-14T11:39:13Z) - Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。
本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
論文 参考訳（メタデータ） (2024-09-10T17:54:28Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Triple Preference Optimization: Achieving Better Alignment with Less Data in a Single Step Optimization [35.36615140853107]
Triple Preference Optimization (TPO) は、大きめの言語モデルと3つの好みを、別個のSupervised Fine-Tuned (SFT)モデルを必要とせずに整合させるように設計されている。
TPOは,SFT,DPO,KTO,IPO,CPO,ORPOといった他の手法によるモデルと比較して,優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2024-05-26T20:18:11Z) - HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。
本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。
本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
論文 参考訳（メタデータ） (2024-04-29T07:07:58Z) - Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。
我々はこの仮説を言語間タスクの範囲内で批判的に検証する。
タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
論文 参考訳（メタデータ） (2024-04-25T17:19:36Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳（メタデータ） (2024-02-12T22:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。