Fugu-MT 論文翻訳(概要): Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents

論文の概要: Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents

arxiv url: http://arxiv.org/abs/2608.18008v1
Date: Tue, 18 Aug 2026 16:55:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.409934
Title: Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
Title（参考訳）: LLMフィードバックからのポリシー不変リワード整形:ハイブリッドRLエージェントのためのフレームワーク
Abstract要約: 我々は,LLMプランナとRLコントローラのハイブリッドアーキテクチャをゴール拡張マルコフ決定プロセスとして定式化する。状態ごとの進捗スコアを有界ポテンシャル関数として用いた場合, LLMのスコアが不正確な場合でも, 結果の整形項が最適方針を保っていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Combining large language models with reinforcement learning is increasingly explored, yet the theoretical status of LLM-derived reward signals is often left implicit. We formalize the hybrid LLM-planner and RL-controller architecture as a Goal-Augmented Markov Decision Process and show that when the LLM per-state progress score is used as a bounded potential function, the resulting shaping term preserves the optimal policy set even when the LLM scores are inaccurate. This guarantee is stronger than what general LLM-as-reward approaches provide. We verify the result numerically on a small MDP under four potential configurations, including an adversarial one scaled to twenty times the base reward magnitude.
Abstract（参考訳）: 大規模言語モデルと強化学習の組み合わせがますます検討されているが、LLM由来の報酬信号の理論的ステータスはしばしば暗黙的に残されている。我々は、LLM-plannerとRL-controllerアーキテクチャをゴール拡張マルコフ決定プロセスとして形式化し、LLM当たりの進捗スコアが有界ポテンシャル関数として使用される場合、LLMスコアが不正確な場合でも、その結果の整形項が最適ポリシーセットを保存することを示す。この保証は、一般的なLCM-as-rewardアプローチが提供するものよりも強い。本研究は, 4つの潜在的構成の下で, 基本報酬の20倍にスケールした逆数を含む小さなMDP上で数値的に検証する。

関連論文リスト

Hybrid LLM-Augmented Reinforcement Learning Agents for Complex Sequential Decision Tasks [0.0]
大規模言語モデル(LLM)は、最近、推論、計画、ツール使用において強力な能力を示し、新しい形の自律エージェントを可能にした。本稿では,LLM駆動型計画とRLに基づく行動最適化を統合したLLM強化型強化学習エージェントを提案する。
論文参考訳（メタデータ） (2026-08-04T11:44:07Z)
Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations [53.53864188270018]
大規模言語モデル(LLM)には高度なレコメンデーションシステム(RS)がある。 LLMのモジュラリティを明示的に制御するための MARC を提案する。 MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
論文参考訳（メタデータ） (2026-04-20T12:08:58Z)
MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance [18.215893951726166]
大規模言語モデル(LLM)は、早期学習を容易にするサブゴール分解、可塑性軌跡、抽象的な事前情報を提供することができる。本稿では,MIRA (Memory-Integrated Reinforcement Learning Agent) を提案する。
論文参考訳（メタデータ） (2026-02-20T01:43:30Z)
Rethinking the Role of LLMs in Time Series Forecasting [15.951870420397682]
大規模言語モデル (LLM) は時系列予測 (TSF) に導入され、数値信号以外の文脈知識が組み込まれている。このような結論は,限られた評価設定に起因し,大規模に保たないことを示す。以上の結果から,emphLLM4TSでは予測性能が向上し,ドメイン間の一般化が著しく向上することが示唆された。
論文参考訳（メタデータ） (2026-02-16T13:39:09Z)
rSIM: Incentivizing Reasoning Capabilities of LLMs via Reinforced Strategy Injection [49.74493901036598]
大規模言語モデル(LLM)は強化学習(RL)を通して後訓練され、推論言語モデル(RLM)へと進化する。本稿では, 小型プランナを用いることで, LLM を RLM にすることができる新規な強化戦略注入機構 (rSIM) を提案する。実験結果から、rSIMによりQwen2.5-0.5BはRLMとなり、Qwen2.5-14Bより大幅に優れていた。
論文参考訳（メタデータ） (2025-12-09T06:55:39Z)
RLAE: Reinforcement Learning-Assisted Ensemble for LLMs [21.77261258691006]
大規模言語モデル(LLM)は、様々なモデルの多様な強みを効果的に組み合わせ、様々なタスクのパフォーマンスを高めるための有望なアプローチを提供する。マルコフ決定プロセス(MDP)のレンズを通してアンサンブルを再構成する新しいフレームワークであるLLMのための強化学習支援アンサンブルを提案する。提案手法では,入力コンテキストと中間生成状態の両方を考慮してアンサンブル重みを動的に調整するRLエージェントを提案する。
論文参考訳（メタデータ） (2025-05-31T07:38:41Z)
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
論文参考訳（メタデータ） (2024-10-02T15:49:30Z)
From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文参考訳（メタデータ） (2024-05-30T09:42:54Z)
RLSF: Fine-tuning LLMs via Symbolic Feedback [11.407319705797242]
大規模言語モデル(LLM)はAIを変えてきたが、ドメイン固有の推論と論理的アライメントを必要とするタスクにしばしば苦労している。従来の微調整手法は、私たちにとって利用可能な膨大な量の記号的ドメイン知識を活用できない。本稿では,新しい微調整パラダイムであるシンボリックフィードバック(RLSF)による強化学習を紹介する。
論文参考訳（メタデータ） (2024-05-26T18:49:59Z)
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning [28.077228879886402]
強化学習(Reinforcement Learning, RL)は、報酬領域におけるサンプルの非効率性に悩まされ、移行時にはさらにその問題が顕著になる。サンプル効率を改善するために、報酬形成はRLエージェントが最適なポリシーに迅速に収束するのに役立つ本質的な報酬を導入するためのよく研究されたアプローチである。
論文参考訳（メタデータ） (2024-05-24T03:53:57Z)
Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文参考訳（メタデータ） (2024-05-23T08:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。