論文の概要: Accelerating Reinforcement Learning Algorithms Convergence using Pre-trained Large Language Models as Tutors With Advice Reusing

• arxiv url: http://arxiv.org/abs/2509.08329v1
• Date: Wed, 10 Sep 2025 07:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.332165
• Title: Accelerating Reinforcement Learning Algorithms Convergence using Pre-trained Large Language Models as Tutors With Advice Reusing
• Title（参考訳）: 事前学習型大言語モデルを用いた強化学習アルゴリズムの高速化
• Authors: Lukas Toral, Teddy Lazebnik,
• Abstract要約: 大規模言語モデル (LLM) は、強化学習 (RL) アルゴリズムを用いた学生-教師アーキテクチャの家庭教師である。 以上の結果から,LLMのチュータリングはRLの収束を著しく促進し,最適性能の維持を図っている。 アドバイス再利用機構は、トレーニング期間をさらに改善するだけでなく、より安定した収束ダイナミクスをもたらす。
• 参考スコア（独自算出の注目度）: 5.414308305392762
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement Learning (RL) algorithms often require long training to become useful, especially in complex environments with sparse rewards. While techniques like reward shaping and curriculum learning exist to accelerate training, these are often extremely specific and require the developer's professionalism and dedicated expertise in the problem's domain. Tackling this challenge, in this study, we explore the effectiveness of pre-trained Large Language Models (LLMs) as tutors in a student-teacher architecture with RL algorithms, hypothesizing that LLM-generated guidance allows for faster convergence. In particular, we explore the effectiveness of reusing the LLM's advice on the RL's convergence dynamics. Through an extensive empirical examination, which included 54 configurations, varying the RL algorithm (DQN, PPO, A2C), LLM tutor (Llama, Vicuna, DeepSeek), and environment (Blackjack, Snake, Connect Four), our results demonstrate that LLM tutoring significantly accelerates RL convergence while maintaining comparable optimal performance. Furthermore, the advice reuse mechanism shows a further improvement in training duration but also results in less stable convergence dynamics. Our findings suggest that LLM tutoring generally improves convergence, and its effectiveness is sensitive to the specific task, RL algorithm, and LLM model combination.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)アルゴリズムは、特にスパース報酬を伴う複雑な環境において、有用になるために長い訓練を必要とすることが多い。 報酬形成やカリキュラム学習のようなテクニックはトレーニングを加速するために存在するが、それらはしばしば非常に具体的であり、問題領域における開発者の専門性や専門知識を必要とする。 この課題に対処するため,本研究では,RLアルゴリズムを用いた学生教師アーキテクチャにおいて,事前学習されたLarge Language Model (LLM) の有効性について検討し,LLM生成誘導がより高速な収束を可能にすることを仮定した。 特に,LL の収束力学における LLM のアドバイスの再利用の有効性について検討する。 LLM チュータ (Llama, Vicuna, DeepSeek) と環境 (Blackjack, Snake, Connect Four) の 54 個の構成を含む実験により,LLM チュータは最大性能を維持しながら RL の収束を著しく加速することを示した。 さらに、アドバイス再利用機構は、トレーニング期間をさらに改善するだけでなく、より安定した収束ダイナミクスをもたらす。 以上の結果から,LLM学習は一般的に収束を改善し,その有効性は特定のタスク,RLアルゴリズム,LLMモデルの組み合わせに敏感であることが示唆された。

関連論文リスト

• Guiding Exploration in Reinforcement Learning Through LLM-Augmented Observations [0.0]
  大規模言語モデル(LLM)は、手続き的知識とテキスト事前学習による推論能力を持っている。 拡張観測空間を通してLLM生成アクションレコメンデーションを提供するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T19:54:31Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Omni-Thinker: Scaling Cross-Domain Generalization in LLMs via Multi-Task RL with Hybrid Rewards [50.21528417884747]
  Omni-Thinkerは多種多様なタスクにわたる大規模言語モデル(LLM)の性能を向上させる統合強化学習フレームワークである。 我々の手法はタスクタイプを一貫した最適化を可能にし、RLベースのトレーニングを主観的ドメインに拡張する。 4つの領域にまたがる実験の結果、カリキュラムの学習は、ジョイントトレーニングよりも5.2%、モデルマージより9.1%向上していることがわかった。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks [110.20297293596005]
  大規模言語モデル(LLM)エージェントは、実世界のタスクでマルチターンインタラクションを実行する必要がある。 LLMエージェントを最適化するための既存のマルチターンRLアルゴリズムは、LLMの一般化能力を活用しながら、複数回にわたって効果的なクレジット割り当てを行うことができない。 本稿では,新たなRLアルゴリズムであるSWEET-RLを提案する。 我々の実験は、SWEET-RLがコルベンチにおける成功率と勝利率を、他の最先端マルチターンRLアルゴリズムと比較して6%向上することを示した。
  論文  参考訳（メタデータ） (2025-03-19T17:55:08Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Reinforcement Learning Enhanced LLMs: A Survey [45.57586245741664]
  我々はRL強化大言語モデル(LLM)に関する最新の知識の体系的なレビューを行う。 具体的には、RLの基礎を詳述し、(2)人気のRL強化LLMを導入し、(3)広く使われている報酬モデルに基づくRL技術であるReinforcement Learning from Human Feedback(RLHF)とReinforcement Learning from AI Feedback(RLAIF)についてレビューする。
  論文  参考訳（メタデータ） (2024-12-05T16:10:42Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。