論文の概要: Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning

• arxiv url: http://arxiv.org/abs/2503.22456v2
• Date: Mon, 31 Mar 2025 10:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 13:14:21.824579
• Title: Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning
• Title（参考訳）: エントロピー誘導型シーケンス重み付けによるLLM微細調整の効率化
• Authors: Abdullah Vanlioglu,
• Abstract要約: Entropy-Guided Sequence Weighting (EGSW) は、探査・探査のトレードオフを強化する新しいアプローチである。 EGSWは、ポリシー更新のバランスをとるために、エントロピー正規化とアドバンテージベースの重み付けを統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Entropy-Guided Sequence Weighting (EGSW), a novel approach that enhances the exploration-exploitation tradeoff by dynamically assigning weights to generated outputs based on their advantage and entropy for Reinforcement Learning-based Large Language Model fine-tuning. EGSW integrates entropy regularization with advantage-based weighting to balance policy updates, enabling efficient exploration in high-dimensional state spaces. By employing temperature-scaled softmax weighting over sequences, EGSW prioritizing high-reward, high-uncertainty steps while maintaining training stability. Although originally developed to improve Group Relative Policy Optimization (GRPO) during large language model (LLM) fine-tuning, EGSW is generalizable to other reinforcement learning (RL) algorithms and can be implemented in both step-wise and trajectory-wise settings. Empirical evaluations demonstrate that EGSW enhances GRPO reasoning ability, yielding improvements in sample efficiency. Future work will explore the application of EGSW to advanced RL methodologies.
• Abstract（参考訳）: 本稿では,エントロピー誘導シーケンス重み付け(EGSW)について紹介する。エントロピー誘導シークエンス重み付け(EGSW)は,強化学習に基づく大規模言語モデルの微調整において,その利点とエントロピーに基づいて動的に重みを生成出力に割り当てることで,探索・探索のトレードオフを強化する新しい手法である。 EGSWは、エントロピー正規化とアドバンテージベースの重み付けを統合し、ポリシー更新のバランスを取り、高次元状態空間での効率的な探索を可能にする。 温度スケールのソフトマックス重み付けを用いて、EGSWは、トレーニング安定性を維持しながら、高逆、高不確かさステップを優先する。 言語モデル(LLM)の微調整時にグループ相対ポリシー最適化(GRPO)を改善するために開発されたが、EGSWは他の強化学習(RL)アルゴリズムに一般化可能であり、ステップワイドおよび軌道ワイドの両方で実装できる。 実験により,EGSWはGRPO推論能力を向上し,試料効率が向上することが示された。 今後の研究は、EGSWの高度なRL方法論への応用を探求する。

関連論文リスト

• Evolutionary Policy Optimization [47.30139909878251]
  現在のオン政治手法では、並列化された環境の利点を十分に活用できない。 EPOは、EAの強みと政策勾配を組み合わせた、新しい政策勾配アルゴリズムである。 EPOは多様で挑戦的な環境におけるパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2025-03-24T18:08:54Z)
• Enhancing LLM Reasoning with Iterative DPO: A Comprehensive Empirical Investigation [29.579349371114702]
  DPO(Direct Preference Optimization)は、大規模言語モデル(LLM)のための強化学習(RL)に代わる費用効率の良い代替手段である。 粗いフィルタ付き1ラウンドのDPOが数学的推論性能を大幅に向上させることを示す。 単純な検証可能な報奨により,計算オーバーヘッドを大幅に低減したRLレベルの性能を実現する。
  論文  参考訳（メタデータ） (2025-03-17T06:28:25Z)
• Adaptive Augmentation Policy Optimization with LLM Feedback [3.038642416291856]
  データ拡張はディープラーニングパイプラインの重要なコンポーネントであり、データセットの多様性を高めてモデルの一般化を強化する。 従来の拡張戦略は手動で設計した変換、サンプリング、あるいは自動検索ベースのアプローチに依存している。 本稿では,モデル性能フィードバックに基づいて拡張ポリシーを改良するLarge Language Model (LLM)誘導拡張最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:26:10Z)
• TRAWL: Tensor Reduced and Approximated Weights for Large Language Models [11.064868044313855]
  TRAWL (Tensor Reduced and Approximated Weights for Large Language Models) は、複数の重み行列に対してテンソル分解を適用し、大域的な構造パターンを捉えることでLLMを効果的に分解する手法である。 我々の実験によると、TRAWLは、追加のデータやトレーニング、微調整を必要とせず、ベンチマークデータセットのベースラインモデルよりも最大16%モデル性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-25T04:01:32Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Active RIS-aided EH-NOMA Networks: A Deep Reinforcement Learning Approach [66.53364438507208]
  アクティブな再構成可能なインテリジェントサーフェス(RIS)支援マルチユーザダウンリンク通信システムについて検討した。 非直交多重アクセス(NOMA)はスペクトル効率を向上させるために使用され、活性RISはエネルギー回収(EH)によって駆動される。 ユーザの動的通信状態を予測するために,高度なLSTMベースのアルゴリズムを開発した。 増幅行列と位相シフト行列RISを結合制御するためにDDPGに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:16:28Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Progressive extension of reinforcement learning action dimension for asymmetric assembly tasks [7.4642148614421995]
  本稿では,RLアルゴリズムの収束を最適化するために,行動次元の漸進的拡張(PEAD)機構を提案する。 結果は,pead法がrlアルゴリズムのデータ効率と時間効率を向上し,安定した報酬を得ることを示す。
  論文  参考訳（メタデータ） (2021-04-06T11:48:54Z)
• Weighted Entropy Modification for Soft Actor-Critic [95.37322316673617]
  我々は,強化学習における最大シャノンエントロピーの原理を,定性的重みを持つ状態-作用対を特徴付けることにより,重み付きエントロピーに一般化する。 本稿では,導入した重み関数による自己バランス探索を動機とするアルゴリズムを提案し,実装の単純さに拘わらず,Mujocoタスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T04:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。