論文の概要: RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs

• arxiv url: http://arxiv.org/abs/2611.02455v1
• Date: Mon, 02 Nov 2026 03:17:51 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:48:14.391184
• Title: RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs
• Title（参考訳）: RLiD:言語エージェントとLLMのための決定平面における強化学習
• Abstract要約: 本稿では、実行可能なアクションオプションの確率を最適化するRLiD(Reinforcement Learning in the Decision plane)を提案する。 RLiDは、観測結果、オプションのコンパクトメモリ、ラベル付きアクションメニューをモデル入力にコンパイルし、大きな決定モデル(LDM)を使用して、1つのフォワードパスでアクションを選択する。 コンパイルメモリでは,最強のQwen2.5-1.5B LDMと蒸留LLMが134点,140点のALFWorld評価ゲームで100%成功した。
• 参考スコア（独自算出の注目度）: 11.47184779374245
• License:
• Abstract: Reinforcement learning (RL) has improved the capabilities of large language models (LLMs) across a wide range of tasks. However, token-level RL assigns an action's advantage to the entire generated response, including tokens specifying the parsed action, reasoning chains, and malformed content. Although the environment executes only the parsed action, variation in how the action is expressed in natural language can introduce additional variance into policy-gradient estimates. We propose RLiD (Reinforcement Learning in the Decision plane), a framework that directly optimizes the probabilities of executable action options. RLiD compiles observations, an optional compact memory, and a labeled action menu into the model input, and uses a large decision model (LDM) to select an action in a single forward pass. By eliminating autoregressive token generation and bypassing action parsing, RLiD avoids invalid action outputs and improves RL rollout efficiency. Our analysis shows that, within a fixed text policy, marginalizing over alternative realizations of the same action removes a zero-mean gradient component without changing the expected update. We further distill trained LDM policies into generative LLMs through supervision on their action trajectories. Experiments on ARC, Countdown, and Sokoban demonstrate improved performance or lower computational cost across several settings. On ALFWorld, the complete training and distillation pipeline reaches 99.3% success in 12.7 H100 GPU-hours, compared with 86.6% in 17.3 GPU-hours for token-level RL of the same LLM. With compiled memory, our strongest Qwen2.5-1.5B LDM and distilled generative LLM achieve 100% success on all 134 unseen and 140 seen ALFWorld evaluation games.
• Abstract（参考訳）: 強化学習(RL)は、幅広いタスクにわたる大規模言語モデル(LLM)の機能を改善した。 しかし、トークンレベルのRLは、解析されたアクション、推論チェーン、不正なコンテンツを指定するトークンを含む、生成されたレスポンス全体に対してアクションの利点を割り当てる。 環境は解析されたアクションのみを実行するが、自然言語でどのように表現されるかのバリエーションは、ポリシーの漸進的な見積もりにさらなる分散をもたらす可能性がある。 本稿では、実行可能なアクションオプションの確率を直接最適化するフレームワークであるRLiD(Reinforcement Learning in the Decision plane)を提案する。 RLiDは、観測結果、オプションのコンパクトメモリ、ラベル付きアクションメニューをモデル入力にコンパイルし、大きな決定モデル(LDM)を使用して、1つのフォワードパスでアクションを選択する。 自己回帰トークンの生成を排除し、アクション解析をバイパスすることにより、RLiDは無効なアクション出力を回避し、ロールアウト効率を向上させる。 解析の結果、固定テキストポリシでは、同じアクションの代替実現よりも疎外化することで、期待される更新を変更せずにゼロ平均勾配成分を除去できることがわかった。 さらに, 訓練されたLCMポリシーを, 行動軌跡の監督を通じて, 生成LDMに精錬する。 ARC、Countdown、Sokobanの実験では、いくつかの設定で性能改善や計算コストの低減が示されている。 ALFWorldでは、完全なトレーニングと蒸留パイプラインが12.7 H100 GPU-hoursで99.3%成功し、同じLLMのトークンレベルのRLでは17.3 GPU-hoursで86.6%に達した。 コンパイルメモリでは,最強のQwen2.5-1.5B LDMと蒸留LLMが134点,140点のALFWorld評価ゲームで100%成功した。

関連論文リスト

• Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
  本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。 現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
  論文  参考訳（メタデータ） (2026-05-19T14:43:26Z)
• Learn Where Outcomes Diverge: Efficient VLA RL via Probabilistic Chunk Masking [5.238545250784642]
  本稿では,軌道毎のチャンクの小さな確率的に選択されたサブセットに勾配を割り当てるGRPOのドロップイン修正である確率的チャンクマスキング(PCM)を提案する。 3つのLIBEROベンチマークでは、PCMは標準GRPOの最終的な成功率と一致し、2.38倍のウォールクロック速度、4.8倍の勾配更新、60%のピークアクティベーションメモリを達成した。
  論文  参考訳（メタデータ） (2026-05-15T16:33:59Z)
• RoboAlign: Learning Test-Time Reasoning for Language-Action Alignment in Vision-Language-Action Models [58.83401587988675]
  RoboAlignは視覚言語アクションモデル(VLA)を訓練し、マルチモーダル理解を低レベルのアクションに変換する。 我々のキーとなる考え方は、ゼロショット自然言語推論を用いてアクショントークンをサンプリングし、この推論を強化学習(RL)を用いて洗練し、アクション精度を向上させることである。 RoboAlignは、それぞれLIBERO、CALVIN、現実世界の環境におけるSFTベースラインよりも17.5%、18.9%、106.6%の性能向上を実現している。
  論文  参考訳（メタデータ） (2026-03-22T17:57:55Z)
• SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding [47.41195092283274]
  LMベースのエージェントは、ハイレベルなアクションAPIを与えられた時に優れるが、低レベルな制御に言語を根ざすのに苦労する。 学習スキルライブラリを通じて、LLM計画とRLを結合する双方向フレームワークSCALARを紹介する。 Craftaxでは、SCALARは88.2%のダイヤモンドコレクションを達成し、最高のベースラインよりも1.9倍改善し、以前の手法が完全に失敗する時間の9.1%に到達した。
  論文  参考訳（メタデータ） (2026-03-10T00:11:58Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference [7.690958366125321]
  本稿では,これらの問題に積極的に対処する新しいパラダイムであるインフォメーションルーティングを紹介する。 我々は、ルーティング決定を行う前に、ユニットの出力を推定する小さな予測モジュールである軽量特徴予測器(LFF)を提案する。 言語モデリングと推論タスクの両方の実験は、情報ルーティングが最先端の効率と性能のトレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-10T09:59:36Z)
• Controlling Large Language Model with Latent Actions [27.0292050543406]
  強化学習(Reinforcement Learning)を用いた下流タスクへの大規模言語モデルの適用は、効果的なアプローチであることが証明されている。 本稿では,LLMの制御性と探索性を高めるために,コンパクトな潜在動作空間を学習する。 我々は,遅延アクション空間を事前学習したLLMに統合するフレームワークである潜在アクションを用いた大規模言語モデル制御(CoLA)を提案する。
  論文  参考訳（メタデータ） (2025-03-27T11:25:22Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。