論文の概要: Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.17931v1
• Date: Fri, 20 Feb 2026 01:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.19978
• Title: Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning
• Title（参考訳）: LLM誘導強化学習のためのメモリベースアドバンテージシェーピング
• Authors: Narjes Nourzad, Carlee Joe-Wong,
• Abstract要約: スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。 この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。 LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 18.215893951726166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In environments with sparse or delayed rewards, reinforcement learning (RL) incurs high sample complexity due to the large number of interactions needed for learning. This limitation has motivated the use of large language models (LLMs) for subgoal discovery and trajectory guidance. While LLMs can support exploration, frequent reliance on LLM calls raises concerns about scalability and reliability. We address these challenges by constructing a memory graph that encodes subgoals and trajectories from both LLM guidance and the agent's own successful rollouts. From this graph, we derive a utility function that evaluates how closely the agent's trajectories align with prior successful strategies. This utility shapes the advantage function, providing the critic with additional guidance without altering the reward. Our method relies primarily on offline input and only occasional online queries, avoiding dependence on continuous LLM supervision. Preliminary experiments in benchmark environments show improved sample efficiency and faster early learning compared to baseline RL methods, with final returns comparable to methods that require frequent LLM interaction.
• Abstract（参考訳）: スパースや遅延報酬のある環境では、強化学習(RL)は、学習に必要な多くの相互作用のために、高いサンプル複雑さを引き起こす。 この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。 LLMは探索をサポートするが、LLM呼び出しへの頻繁な依存はスケーラビリティと信頼性に関する懸念を引き起こす。 LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。 このグラフから,エージェントの軌道が事前の成功戦略とどの程度密接に一致しているかを評価するユーティリティ関数を導出する。 このユーティリティは有利な機能を形作り、報酬を変更することなく、批評家に追加のガイダンスを提供する。 本手法は,主にオフライン入力とオンラインクエリのみに依存し,連続LLM監視への依存を回避する。 ベンチマーク環境での予備実験では、ベースラインRL法と比較してサンプル効率の改善と早期学習の高速化が示され、最終結果はLLMの頻繁な相互作用を必要とする手法に匹敵する。

関連論文リスト

• MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance [18.215893951726166]
  大規模言語モデル(LLM)は、早期学習を容易にするサブゴール分解、可塑性軌跡、抽象的な事前情報を提供することができる。 本稿では,MIRA (Memory-Integrated Reinforcement Learning Agent) を提案する。
  論文  参考訳（メタデータ） (2026-02-20T01:43:30Z)
• Beyond Static LLM Policies: Imitation-Enhanced Reinforcement Learning for Recommendation [23.945049006150555]
  大規模言語モデル(LLM)は、多様なデジタルプラットフォームにまたがってパーソナライズされたコンテンツを配信することによって、ユーザエンゲージメントを高める重要なツールとなっている。 LLMを主要なレコメンデーションポリシとして直接デプロイすることは、永続的なレイテンシの問題を含む、注目すべき課題を提示する。 本稿では,LLM生成軌道からの模倣学習を利用した新しいオフライン強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-15T07:28:29Z)
• Guiding Exploration in Reinforcement Learning Through LLM-Augmented Observations [0.0]
  大規模言語モデル(LLM)は、手続き的知識とテキスト事前学習による推論能力を持っている。 拡張観測空間を通してLLM生成アクションレコメンデーションを提供するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T19:54:31Z)
• Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning [16.654435148168172]
  大規模言語モデル(LLM)は、推論と意思決定において顕著な将来性を示している。 サンプル効率,一般化,マルチタスク適応性を向上させるため,LDSCと呼ばれるLCM誘導階層型RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T15:49:56Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。