論文の概要: Training Language Models to Self-Correct via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2409.12917v2
- Date: Fri, 04 Oct 2024 17:28:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:06:42.508543
- Title: Training Language Models to Self-Correct via Reinforcement Learning
- Title(参考訳): 強化学習による自己補正のための言語モデルの構築
- Authors: Aviral Kumar, Vincent Zhuang, Rishabh Agarwal, Yi Su, John D Co-Reyes, Avi Singh, Kate Baumli, Shariq Iqbal, Colton Bishop, Rebecca Roelofs, Lei M Zhang, Kay McKinney, Disha Shrivastava, Cosmin Paduraru, George Tucker, Doina Precup, Feryal Behbahani, Aleksandra Faust,
- Abstract要約: 自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。
完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。
SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
- 参考スコア(独自算出の注目度): 98.35197671595343
- License:
- Abstract: Self-correction is a highly desirable capability of large language models (LLMs), yet it has consistently been found to be largely ineffective in modern LLMs. Current methods for training self-correction typically depend on either multiple models, a more advanced model, or additional forms of supervision. To address these shortcomings, we develop a multi-turn online reinforcement learning (RL) approach, SCoRe, that significantly improves an LLM's self-correction ability using entirely self-generated data. To build SCoRe, we first show that variants of supervised fine-tuning (SFT) on offline model-generated correction traces are often insufficient for instilling self-correction behavior. In particular, we observe that training via SFT falls prey to either a distribution mismatch between mistakes made by the data-collection policy and the model's own responses, or to behavior collapse, where learning implicitly prefers only a certain mode of correction behavior that is often not effective at self-correction on test problems. SCoRe addresses these challenges by training under the model's own distribution of self-generated correction traces and using appropriate regularization to steer the learning process into learning a self-correction behavior that is effective at test time as opposed to fitting high-reward responses for a given prompt. This regularization process includes an initial phase of multi-turn RL on a base model to generate a policy initialization that is less susceptible to collapse, followed by using a reward bonus to amplify self-correction. With Gemini 1.0 Pro and 1.5 Flash models, we find that SCoRe achieves state-of-the-art self-correction performance, improving the base models' self-correction by 15.6% and 9.1% respectively on MATH and HumanEval.
- Abstract(参考訳): 自己補正は大規模言語モデル(LLM)において非常に望ましい能力であるが、現代のLLMではほとんど効果がないことが一貫して確認されている。
現在の自己補正の訓練方法は、通常、複数のモデル、より高度なモデル、または追加の監督形式に依存する。
これらの欠点に対処するため、完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習(RL)アプローチであるSCoReを開発した。
SCoReを構築するために、オフラインモデル生成補正トレースにおける教師付き微調整(SFT)の変種は、しばしば自己補正動作の注入に不十分であることを示す。
特に、SFTによるトレーニングは、データ収集ポリシーとモデル自身の応答のミスによる分布ミスマッチや、学習が暗黙的に修正行動の特定のモードのみを優先する行動崩壊に陥ることが観察された。
SCoReは、モデル独自の自己生成補正トレースの分布の下でトレーニングを行い、適切な正規化を使用して、与えられたプロンプトに高次応答を適用するのではなく、テスト時に有効である自己補正動作を学ぶ。
この正規化プロセスは、基本モデル上のマルチターンRLの初期フェーズを含み、崩壊しにくいポリシー初期化を生成し、その後、報酬ボーナスを使用して自己補正を増幅する。
Gemini 1.0 Pro と 1.5 Flash モデルでは、SCoRe は最先端の自己補正性能を達成し、ベースモデルの自己補正を MATH と HumanEval でそれぞれ 15.6% と 9.1% 改善している。
関連論文リスト
- Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
Reinforcement Learning from Human Feedback (RLHF)のような最先端技術は、しばしば2つの段階から構成される。
1)教師付き微調整(SFT)では,人間の実演データからモデルを微調整する。
2)選好学習では,選好データを用いて報奨モデルを学習し,そのモデルを微調整する強化学習ステップで活用する。
論文 参考訳(メタデータ) (2024-05-28T07:11:05Z) - Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。
この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
論文 参考訳(メタデータ) (2024-04-26T03:41:28Z) - Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。
PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。
実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-04-01T07:49:11Z) - Fast-ELECTRA for Efficient Pre-training [83.29484808667532]
ELECTRAは補助モデルに置き換えられたシーケンス内のトークンを検出して、言語モデルを事前訓練する。
本稿では,既存の言語モデルを補助モデルとして活用したFast-ELECTRAを提案する。
提案手法は,最先端のELECTRA型事前学習手法の性能に匹敵するが,補助モデルの連成学習による計算とメモリコストは著しく削減される。
論文 参考訳(メタデータ) (2023-10-11T09:55:46Z) - Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳(メタデータ) (2023-09-16T00:54:57Z) - Self-critical Sequence Training for Automatic Speech Recognition [25.06635361326706]
本稿では,自己臨界シーケンストレーニング(SCST)と呼ばれる最適化手法を提案する。
強化学習(RL)に基づく手法として、SCSTはトレーニング基準とWERを関連付けるために、カスタマイズされた報酬関数を利用する。
その結果,提案したSCSTは,WERの基準値に対して,それぞれ8.7%,7.8%の相対的な改善が得られた。
論文 参考訳(メタデータ) (2022-04-13T09:13:32Z) - Type-Driven Multi-Turn Corrections for Grammatical Error Correction [46.34114495164071]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文法的誤りを自動的に検出し、訂正することを目的としている。
これまでの研究では、露出バイアスに対処するためのデータ拡張アプローチに主に焦点が当てられていた。
GECのためのタイプ駆動型マルチTurn Correctionsアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-17T07:30:05Z) - Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。
MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。
実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
論文 参考訳(メタデータ) (2021-06-16T16:24:55Z) - PrIU: A Provenance-Based Approach for Incrementally Updating Regression
Models [9.496524884855559]
本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。
漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。
実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
論文 参考訳(メタデータ) (2020-02-26T21:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。