論文の概要: From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training

• arxiv url: http://arxiv.org/abs/2607.16257v1
• Date: Sun, 28 Jun 2026 08:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.061118
• Title: From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training
• Title（参考訳）: アウトカムから行動へ:長期言語エージェント訓練における身近感の活用
• Abstract要約: 強化学習(RL)は,複雑なタスクにおいて大規模言語モデル(LLM)を改善する手法として広く採用されている。 既存のRL法は、長い水平相互作用を持つ訓練エージェントの課題に直面している。 本稿では,現在の政策分布と後向き分布の両方を意図空間に投影する,新しい政策勾配法,HPO(Hindsight Policy Optimization)を提案する。
• 参考スコア（独自算出の注目度）: 55.744284393275926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a widely adopted technique for improving large language models (LLMs) on complex tasks. Despite this progress, existing RL methods still face challenges in training agents with longer-horizon interactions. One major bottleneck is distinguishing the contribution of different actions in long-horizon interaction, leading to high optimization variance. To address this, we introduce a novel policy gradient method, Hindsight Policy Optimization (HPO), that projects both the current policy distribution and the hindsight distribution into an intent space and extracts low-variance learning signals from the Wasserstein distance between them. We theoretically and empirically show that aggregating semantically similar states and actions in the intent space yields a bounded-variance estimator and improves policy performance stably. Our code is available online.
• Abstract（参考訳）: 強化学習(RL)は,複雑なタスクにおいて大規模言語モデル(LLM)を改善する手法として広く採用されている。 この進歩にもかかわらず、既存のRL手法は、長い水平相互作用を持つ訓練エージェントの課題に直面している。 主要なボトルネックの1つは、長い水平相互作用における異なる作用の寄与を区別し、高い最適化分散をもたらすことである。 そこで本研究では,現在の政策分布と後向き分布の両方を目的空間に投影し,ワッサーシュタイン距離から低分散学習信号を抽出する,新しい政策勾配法であるHPOを導入する。 理論的かつ実証的に、意味論的に類似した状態と目的空間における行動が有界分散推定器となり、安定して政策性能を向上させることを示す。 私たちのコードはオンラインで利用可能です。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning [12.831519967591007]
  分散ソフトマックスポリシー勾配(DecSPG)は、協調型マルチエージェント強化学習のためのアルゴリズムのクラスである。 ガウス政策の限定的な表現性は、DECSPGの探索を著しく妨げていることを示す。 本稿では,分散拡散確率モデルを用いて各エージェントのポリシーをパラメータ化する分散拡散政策学習(DDPL)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T01:29:42Z)
• Align and Filter: Improving Performance in Asynchronous On-Policy RL [27.989398323927393]
  分散学習と高頻度更新によるポリシラグの発生源を同定する。 本稿では,政策ラグを軽減するための実践的アプローチとして,テクスト変動に基づく制約付きポリシー最適化を提案する。
  論文  参考訳（メタデータ） (2026-03-02T01:52:34Z)
• Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces [57.466101098183884]
  強化学習(Reinforcement Learning, RL)は、現実の多くの問題に共通する大規模なアクション空間にスケールするために苦労する。 本稿では、複雑な環境下での高効率なポリシーとして、離散拡散モデルを訓練するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T21:53:36Z)
• LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation [7.054214377609925]
  強化学習(RL)は、様々な領域で顕著な成功を収めている。 複雑なタスクに対する効果的なポリシーの訓練は依然として難しい。 既存のトレーニングボトルネックを軽減するアプローチは、2つのカテゴリに分類される。
  論文  参考訳（メタデータ） (2025-05-27T03:40:02Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [14.058764537783086]
  LOPE: textbfLearning textbfOnline with trajectory textbfPreferencedanctextbfE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能の点で、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。