論文の概要: UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function

• arxiv url: http://arxiv.org/abs/2410.21438v1
• Date: Mon, 28 Oct 2024 18:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:23.280900
• Title: UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function
• Title（参考訳）: UFT:一般化帰納関数によるSFTとRLHF/DPO/UNAの微調整
• Authors: Zhichao Wang, Bin Bi, Zixu Zhu, Xiangbo Mao, Jun Wang, Shiyu Wang,
• Abstract要約: SFTとアライメントを単一のトレーニングステージに統合するUnified Fine-Tuning(UFT)を導入する。 実験結果から,UFTは命令調整データのみにおいて,SFTよりも優れていることが示された。 命令チューニングデータとアライメントデータを組み合わせることで、UFTは破滅的な忘れを効果的に防止する。
• 参考スコア（独自算出の注目度）: 18.54945183526789
• License:
• Abstract: By pretraining on trillions of tokens, an LLM gains the capability of text generation. However, to enhance its utility and reduce potential harm, SFT and alignment are applied sequentially to the pretrained model. Due to the differing nature and objective functions of SFT and alignment, catastrophic forgetting has become a significant issue. To address this, we introduce Unified Fine-Tuning (UFT), which integrates SFT and alignment into a single training stage using the same objective and loss functions through an implicit reward function. Our experimental results demonstrate that UFT outperforms SFT on instruction-tuning data alone. Moreover, when combining instruction-tuning data with alignment data, UFT effectively prevents catastrophic forgetting across these two stages and shows a clear advantage over sequentially applying SFT and alignment. This is evident in the significant improvements observed in the \textbf{ifeval} task for instruction-following and the \textbf{truthful-qa} task for factuality. The proposed general fine-tuning framework UFT establishes an effective and efficient pretraining-UFT paradigm for LLM training.
• Abstract（参考訳）: 数兆のトークンを事前訓練することで、LLMはテキスト生成の能力を得る。 しかし,SFTとアライメントは,実用性の向上と潜在的な害を軽減するために,事前訓練されたモデルに順次適用される。 SFTとアライメントの異なる性質と目的関数のため、破滅的な忘れ込みは重大な問題となっている。 そこで我々は,SFTとアライメントを統合したUnified Fine-Tuning (UFT)を導入する。 実験結果から,UFTは命令調整データのみにおいて,SFTよりも優れていることが示された。 さらに、インストラクションチューニングデータとアライメントデータを組み合わせることで、UTTはこれらの2段階にわたる破滅的な忘れを効果的に防止し、SFTとアライメントを順次適用するよりも明確な優位性を示す。 これは、命令追従の \textbf{ifeval} タスクと事実性の \textbf{truthful-qa} タスクで見られる重要な改善で明らかである。 提案する汎用微調整フレームワークUFTは,LLMトレーニングのための効率的かつ効率的な事前訓練-UFTパラダイムを確立する。

関連論文リスト

• Natural Language Fine-Tuning [13.143016409660484]
  自然言語をファインチューニングに利用する自然言語ファインチューニング(NLFT)を初めて紹介する。 言語情報をNLFTで効果的に活用するため,提案手法はトレーニングコストを大幅に削減する。 トレーニング効率を著しく向上し、精度、省時間、資源保全において強化微調整アルゴリズムを総合的に上回っている。
  論文  参考訳（メタデータ） (2024-12-29T07:02:45Z)
• Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
  我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。 直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
  論文  参考訳（メタデータ） (2024-12-17T12:49:14Z)
• Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
  下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。 既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
  論文  参考訳（メタデータ） (2024-12-16T07:33:23Z)
• PAFT: A Parallel Training Paradigm for Effective LLM Fine-Tuning [17.73193523921637]
  大規模言語モデル(LLM)は、多様な自然言語処理(NLP)タスクにおいて顕著な能力を示している。 LLMは通常、制御された微調整(SFT)を行い、その後、下流のアプリケーションで使用できるように調整する。 本稿では,PLMファインチューニングのための新しいPArallelトレーニングパラダイムであるPAFTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T20:11:37Z)
• Intuitive Fine-Tuning: Towards Simplifying Alignment into a Single Process [26.196705232699884]
  直感的ファインチューニング(IFT)を導入し,SFTと優先度最適化をひとつのプロセスに統合する。 IFTは、SFTのシーケンシャルなレシピやいくつかの典型的なPreference Optimizationメソッドと相容れないか、それ以上に優れている。 説明可能なフロズンレイクゲームは、競争政策を得るためのIFTの有効性をさらに検証する。
  論文  参考訳（メタデータ） (2024-05-20T08:23:28Z)
• HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
  1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。 本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。 本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-29T07:07:58Z)
• Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
  教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。 我々はこの仮説を言語間タスクの範囲内で批判的に検証する。 タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-04-25T17:19:36Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。