論文の概要: Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models

• arxiv url: http://arxiv.org/abs/2406.10305v1
• Date: Fri, 14 Jun 2024 03:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:01:54.734682
• Title: Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models
• Title（参考訳）: 大規模言語モデルの学習における教師付き微調整と強化学習の関係の解法
• Authors: Jie Chen, Xintian Han, Yu Ma, Xun Zhou, Liang Xiang,
• Abstract要約: 本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
• 参考スコア（独自算出の注目度）: 12.656574142412484
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automatic code generation has been a longstanding research topic. With the advancement of general-purpose large language models (LLMs), the ability to code stands out as one important measure to the model's reasoning performance. Usually, a two-stage training paradigm is implemented to obtain a Code LLM, namely the pretraining and the fine-tuning. Within the fine-tuning, supervised fine-tuning (SFT), and reinforcement learning (RL) are often used to improve the model's zero-shot ability. A large number of work has been conducted to improve the model's performance on code-related benchmarks with either modifications to the algorithm or refinement of the dataset. However, we still lack a deep insight into the correlation between SFT and RL. For instance, what kind of dataset should be used to ensure generalization, or what if we abandon the SFT phase in fine-tuning. In this work, we make an attempt to understand the correlation between SFT and RL. To facilitate our research, we manually craft 100 basis python functions, called atomic functions, and then a synthesizing pipeline is deployed to create a large number of synthetic functions on top of the atomic ones. In this manner, we ensure that the train and test sets remain distinct, preventing data contamination. Through comprehensive ablation study, we find: (1) Both atomic and synthetic functions are indispensable for SFT's generalization, and only a handful of synthetic functions are adequate; (2) Through RL, the SFT's generalization to target domain can be greatly enhanced, even with the same training prompts; (3) Training RL from scratch can alleviate the over-fitting issue introduced in the SFT phase.
• Abstract（参考訳）: 自動コード生成は長年にわたる研究トピックである。 汎用大規模言語モデル(LLM)の進歩により、プログラミング能力はモデルの推論性能にとって重要な指標となる。 通常、2段階の訓練パラダイムが実装され、コードLLM、すなわち事前訓練と微調整が得られる。 微調整、教師付き微調整(SFT)、強化学習(RL)は、しばしばモデルのゼロショット能力を改善するために使用される。 アルゴリズムの変更やデータセットの改良によって、コード関連のベンチマークでモデルのパフォーマンスを改善するために、多くの作業が実施されている。 しかし、SFTとRLの相関についてはまだ深い知見が得られていない。 例えば、一般化を保証するためにどのようなデータセットを使うべきか、微調整でSFTフェーズを放棄したらどうなるのか、などです。 本研究では,SFTとRLの相関関係の解明を試みる。 我々は,原子関数と呼ばれる100塩基のピソン関数を手動で作成し,その上に多数の合成関数を生成するために合成パイプラインを配置する。 このようにして、列車とテストセットが相変わらず維持され、データの汚染が防止される。 包括的アブレーション研究により,(1)SFTの一般化には原子機能と合成機能の両方が不可欠であり,かつ,少数の合成機能しか必要とされないこと,(2)SFTの目標ドメインへの一般化は,同じトレーニングプロンプトでも大幅に向上できること,(3)スクラッチからRLを訓練することで,SFTフェーズで導入された過度に適合する問題を緩和できること,などが判明した。

関連論文リスト

• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
  1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。 本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。 本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-29T07:07:58Z)
• FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion [24.964973946366335]
  我々は,真の微調整を模倣することを目的とした新しい検索手法FT2Raを開発した。 FT2RaはUniXcoderの最良のベースライン方式に比べて精度が4.29%向上している。
  論文  参考訳（メタデータ） (2024-04-02T01:42:15Z)
• Teaching Large Language Models to Reason with Reinforcement Learning [38.17625148525193]
  人間のフィードバックからの強化学習(textbfRLHF)は、LLM出力と人間の嗜好を整合させる主要なアプローチとして現れている。 RLHFの成功に触発され,フィードバックから学習する複数のアルゴリズムの性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T16:36:29Z)
• Automatic Unit Test Data Generation and Actor-Critic Reinforcement Learning for Code Synthesis [16.88062487980405]
  本稿では,関数シグネチャと関連する単体テストからなるデータを自動的に取得する手法を提案する。 自動生成したトレーニングデータと組み合わせることで,事前学習された言語モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T17:13:16Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。