論文の概要: Reward Is Enough: LLMs Are In-Context Reinforcement Learners

• arxiv url: http://arxiv.org/abs/2506.06303v1
• Date: Wed, 21 May 2025 16:15:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 03:13:19.036542
• Title: Reward Is Enough: LLMs Are In-Context Reinforcement Learners
• Title（参考訳）: LLMはインテクスト強化学習者である
• Authors: Kefan Song, Amir Moeini, Peng Wang, Lei Gong, Rohan Chandra, Yanjun Qi, Shangtong Zhang,
• Abstract要約: 強化学習(Reinforcement Learning、RL)は、シーケンシャルな意思決定問題を解決するための人間設計のフレームワークである。 本研究では,LLM(Large Language Model)推論時間内にRLが出現することを示す。 ICRLプロンプトと呼ばれる新しいマルチラウンドプロンプトフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 27.916966728955348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is a human-designed framework for solving sequential decision making problems. In this work, we demonstrate that, surprisingly, RL emerges in LLM's (Large Language Model) inference time -- a phenomenon known as in-context RL (ICRL). Specifically, we propose a novel multi-round prompting framework called ICRL prompting. The goal is to prompt the LLM to complete a task. After the LLM generates a response at the current round, we give numerical scalar feedbacks for the response, called the rewards. At the next round, we prompt the LLM again with the same task and a context consisting of all previous responses and rewards. We observe that the quality of the LLM's response increases as the context grows. In other words, the LLM is able to maximize the scalar reward signal in the inference time, just like an RL algorithm. We evaluate ICRL prompting in three benchmarks (Game of 24, creative writing, and ScienceWorld) and demonstrate significant performance improvements over baseline methods such as Self-Refine and Reflexion. Surprisingly, in some experiments the reward signals are generated by the LLM itself, yet performance improvements are still observed from ICRL prompting, offering a promising paradigm for scaling test-time compute.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、シーケンシャルな意思決定問題を解決するための人間設計のフレームワークである。 本研究では,LLがLLM(Large Language Model)推論時間(ICRL)に出現する現象を示す。 具体的には、ICRLプロンプトと呼ばれる新しいマルチラウンドプロンプトフレームワークを提案する。 目標は、LCMにタスクを完了させることです。 LLMが現在のラウンドで応答を生成した後、報酬と呼ばれる応答に対する数値スカラーフィードバックを与える。 次のラウンドでは、LLMに同じタスクと、以前のすべての応答と報酬からなるコンテキストを再び促します。 LLMの応答の質は、文脈が大きくなるにつれて向上する。 言い換えれば、LLMは、RLアルゴリズムのように、推論時間でスカラー報酬信号を最大化することができる。 我々はICRLのプロンプトを3つのベンチマーク(Game of 24、クリエイティブライティング、ScienceWorld)で評価し、Self-RefineやReflexionといったベースライン手法よりも優れた性能を示した。 驚くべきことに、いくつかの実験では、報酬信号はLLM自身によって生成されるが、ICRLのプロンプトによってパフォーマンスが改善され、テスト時間計算のスケーリングに有望なパラダイムが提供される。

関連論文リスト

• Large Language Model-enhanced Reinforcement Learning for Low-Altitude Economy Networking [71.83640290222928]
  Low-Altitude Economic Networking (LAENet)は、1000m以下の多様な飛行アプリケーションをサポートすることを目的としている。 複雑な意思決定、資源の制約、環境の不確実性は、LEENetの開発に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-05-27T11:25:42Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• RLSF: Reinforcement Learning via Symbolic Feedback [11.407319705797242]
  証明フィードバック(RLSF)による強化学習(Reinforcement Learning)と呼ばれる新しい微調整パラダイムを提案する。 RLSFでは、微調整されたLLMはRLエージェントと見なされ、環境は推論やドメイン知識ツールへのアクセスが可能である。 RLSFに基づくLLMの微調整は、5つの異なるアプリケーションにおいて従来のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T18:49:59Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。