論文の概要: Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning

• arxiv url: http://arxiv.org/abs/2503.22456v2
• Date: Mon, 31 Mar 2025 10:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 11:09:42.189144
• Title: Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning
• Title（参考訳）: エントロピー誘導型シーケンス重み付けによるLLM微細調整の効率化
• Authors: Abdullah Vanlioglu,
• Abstract要約: Entropy-Guided Sequence Weighting (EGSW) は、探査・探査のトレードオフを強化する新しいアプローチである。 EGSWは、ポリシー更新のバランスをとるために、エントロピー正規化とアドバンテージベースの重み付けを統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce Entropy-Guided Sequence Weighting (EGSW), a novel approach that enhances the exploration-exploitation tradeoff by dynamically assigning weights to generated outputs based on their advantage and entropy for Reinforcement Learning-based Large Language Model fine-tuning. EGSW integrates entropy regularization with advantage-based weighting to balance policy updates, enabling efficient exploration in high-dimensional state spaces. By employing temperature-scaled softmax weighting over sequences, EGSW prioritizing high-reward, high-uncertainty steps while maintaining training stability. Although originally developed to improve Group Relative Policy Optimization (GRPO) during large language model (LLM) fine-tuning, EGSW is generalizable to other reinforcement learning (RL) algorithms and can be implemented in both step-wise and trajectory-wise settings. Empirical evaluations demonstrate that EGSW enhances GRPO reasoning ability, yielding improvements in sample efficiency. Future work will explore the application of EGSW to advanced RL methodologies.
• Abstract（参考訳）: 本稿では,エントロピー誘導シーケンス重み付け(EGSW)について紹介する。エントロピー誘導シークエンス重み付け(EGSW)は,強化学習に基づく大規模言語モデルの微調整において,その利点とエントロピーに基づいて動的に重みを生成出力に割り当てることで,探索・探索のトレードオフを強化する新しい手法である。 EGSWは、エントロピー正規化とアドバンテージベースの重み付けを統合し、ポリシー更新のバランスを取り、高次元状態空間での効率的な探索を可能にする。 温度スケールのソフトマックス重み付けを用いて、EGSWは、トレーニング安定性を維持しながら、高逆、高不確かさステップを優先する。 言語モデル(LLM)の微調整時にグループ相対ポリシー最適化(GRPO)を改善するために開発されたが、EGSWは他の強化学習(RL)アルゴリズムに一般化可能であり、ステップワイドおよび軌道ワイドの両方で実装できる。 実験により,EGSWはGRPO推論能力を向上し,試料効率が向上することが示された。 今後の研究は、EGSWの高度なRL方法論への応用を探求する。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Efficient Reinforcement Learning with Large Language Model Priors [18.72288751305885]
  大規模言語モデル(LLM)は、最近、強力な汎用ツールとして登場した。 本稿では,従来の行動分布としてLLMを扱い,それらをRLフレームワークに統合することを提案する。 LLMに基づくアクションの事前処理を取り入れることで、探索と複雑性の最適化が大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2024-10-10T13:54:11Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Posterior Sampling for Deep Reinforcement Learning [0.0]
  本稿では, 深層強化学習のための後方サンプリング (PSDRL) について紹介する。 Atariベンチマークの実験では、PSDRLは後方サンプリングをスケールアップする従来の最先端の試行を著しく上回っている。
  論文  参考訳（メタデータ） (2023-04-30T13:23:50Z)
• Active RIS-aided EH-NOMA Networks: A Deep Reinforcement Learning Approach [66.53364438507208]
  アクティブな再構成可能なインテリジェントサーフェス(RIS)支援マルチユーザダウンリンク通信システムについて検討した。 非直交多重アクセス(NOMA)はスペクトル効率を向上させるために使用され、活性RISはエネルギー回収(EH)によって駆動される。 ユーザの動的通信状態を予測するために,高度なLSTMベースのアルゴリズムを開発した。 増幅行列と位相シフト行列RISを結合制御するためにDDPGに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:16:28Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Progressive extension of reinforcement learning action dimension for asymmetric assembly tasks [7.4642148614421995]
  本稿では,RLアルゴリズムの収束を最適化するために,行動次元の漸進的拡張(PEAD)機構を提案する。 結果は,pead法がrlアルゴリズムのデータ効率と時間効率を向上し,安定した報酬を得ることを示す。
  論文  参考訳（メタデータ） (2021-04-06T11:48:54Z)
• Weighted Entropy Modification for Soft Actor-Critic [95.37322316673617]
  我々は,強化学習における最大シャノンエントロピーの原理を,定性的重みを持つ状態-作用対を特徴付けることにより,重み付きエントロピーに一般化する。 本稿では,導入した重み関数による自己バランス探索を動機とするアルゴリズムを提案し,実装の単純さに拘わらず,Mujocoタスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T04:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。