論文の概要: Ignore the KL Penalty! Boosting Exploration on Critical Tokens to Enhance RL Fine-Tuning

• arxiv url: http://arxiv.org/abs/2502.06533v1
• Date: Mon, 10 Feb 2025 14:56:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:54.672069
• Title: Ignore the KL Penalty! Boosting Exploration on Critical Tokens to Enhance RL Fine-Tuning
• Title（参考訳）: KLの罰則を無視! - RLファインチューニングの強化に向けて-
• Authors: Jean Vassoyan, Nathanaël Beau, Roman Plaud,
• Abstract要約: 簡単な算術課題における小言語モデルの探索力学について検討する。 事前学習による影響の度合いの変化が「クリティカルトークン」の重要性を如何に示すかを示す。 我々は、臨界トークンの探索を優先し、RL微調整ステージの効率を高めるため、KLペナルティの簡単な修正を導入する。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License:
• Abstract: The ability to achieve long-term goals is a key challenge in the current development of large language models (LLMs). To address this, pre-trained LLMs can be fine-tuned with reinforcement learning (RL) to explore solutions that optimize a given goal. However, exploration with LLMs is difficult, as a balance has to be struck between discovering new solutions and staying close enough to the pre-trained model, so as not to degrade basic capabilities. This is typically controlled with a Kullback-Leibler (KL) penalty. In this paper, we investigate the exploration dynamics of a small language model on a simple arithmetic task. We show how varying degrees of pre-training influence exploration and demonstrate the importance of "critical tokens" which have a dramatic impact on the final outcome. Consequently, we introduce a simple modification to the KL penalty that favors exploration on critical tokens, increasing the efficiency of the RL fine-tuning stage.
• Abstract（参考訳）: 長期的な目標を達成する能力は、大規模言語モデル(LLM)の現在の開発において重要な課題である。 これを解決するために、事前訓練されたLLMを強化学習(RL)で微調整して、与えられた目標を最適化するソリューションを探索することができる。 しかし, LLMによる探索は, 新しい解の発見と, 基礎能力を低下させないために, 事前学習モデルに十分近いバランスを保たなければならないため, 困難である。 これは通常、KL(Kullback-Leibler)ペナルティによって制御される。 本稿では,簡単な算術課題における小言語モデルの探索力学について検討する。 事前学習による影響の度合いの変化が,最終結果に劇的な影響を及ぼす「クリティカルトークン」の重要性を如何に示すかを示す。 その結果、臨界トークンの探索を優先し、RL微調整ステージの効率を向上するKLペナルティを簡易に修正した。

関連論文リスト

• Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RL [14.091146805312636]
  信用割当問題は強化学習(RL)における中心的な課題である クレジット・アサインメント・ウィズ・ランゲージ・モデル(CALM)は、報酬形成とオプション発見を通じてクレジット・アサインメントを自動化する新しいアプローチである。 予備的な結果は、大規模言語モデルの知識が、RLにおける信用代入の有望な先行であることを示している。
  論文  参考訳（メタデータ） (2024-09-19T14:08:09Z)
• LMGT: Optimizing Exploration-Exploitation Balance in Reinforcement Learning through Language Model Guided Trade-offs [27.014415210732103]
  強化学習のための新しいサンプル効率フレームワークである textbfLanguage textbfModel textbfGuided textbfTrade-offs (textbfLMGT) を紹介する。
  論文  参考訳（メタデータ） (2024-09-07T07:40:43Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Countering Reward Over-optimization in LLM with Demonstration-Guided Reinforcement Learning [49.87923965553233]
  強化学習は、大きな言語モデルで過度に最適化される。 報酬目的を再検討するために、Reward from Demonstration (RCfD)を導入する。 RCfD は ROO を緩和しながら, 注意深く調整されたベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-04-30T09:57:21Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。