Fugu-MT 論文翻訳(概要): Agent-G$^2$: Gaussian Guidance for Agentic Reinforcement Learning

論文の概要: Agent-G$^2$: Gaussian Guidance for Agentic Reinforcement Learning

arxiv url: http://arxiv.org/abs/2608.23318v1
Date: Mon, 24 Aug 2026 14:34:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:44.154712
Title: Agent-G$^2$: Gaussian Guidance for Agentic Reinforcement Learning
Title（参考訳）: Agent-G$^2$:エージェント強化学習のためのガウスガイダンス
Abstract要約: Agent-G$2$は、政策最適化のためにオンラインで見積もられているガウシアンからタスク毎の深さを引き出す。我々は ALFWorld と WebShop の Agent-G$2$ を Qwen2.5-1.5B / 7B-Instruct で評価した。
参考スコア（独自算出の注目度）: 29.13920135925512
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hint-based reinforcement learning addresses reward sparsity in long-horizon agentic tasks by retaining a prefix of an expert trajectory before each rollout, letting the policy explore from a state closer to success. Its effectiveness hinges on the guidance depth: how much of the trajectory to keep. Existing methods treat this depth as a deterministic scalar. Scheduled approaches share one value across samples and ignore per-task heterogeneity; per-sample probing estimates it separately at the cost of extra rollouts. We find that useful guidance occupies a band of depths whose informativeness profile is approximately Gaussian around the band center, rather than concentrating at a single optimal point. We propose Agent-G$^2$, a Gaussian guidance framework that draws the depth per task from a Gaussian whose center and spread are estimated online from rollouts already collected for policy optimization, requiring no probe rollouts or learned depth predictor. The center combines a global baseline with per-cluster difficulty, and the spread tracks within-cluster variance. We evaluate Agent-G$^2$ on ALFWorld and WebShop on Qwen2.5-1.5B / 7B-Instruct. Agent-G$^2$ outperforms the strongest hint-based, hint-free, and Aux-RL baselines on ALFWorld by 2.3 / 3.9 / 7.4 points at under one-third the rollout cost of per-sample probing.
Abstract（参考訳）: ヒントベースの強化学習は、各ロールアウトの前に専門家の軌跡のプレフィックスを保持し、成功に近い状態から政策を探索することで、長期のエージェントタスクにおける報酬の空間性に対処する。その効果は、誘導深度(軌道のどれだけを維持できるか)に左右される。既存の方法は、この深さを決定論的スカラーとして扱う。スケジューリングされたアプローチは、サンプル間でひとつの値を共有し、タスク毎の不均一性を無視する。有用なガイダンスは,1つの最適点に集中するのではなく,情報度プロファイルがガウス中心付近にほぼ分布する深さのバンドを占有することがわかった。我々は,政策最適化のために既に収集したロールアウトや学習深度予測器をオンラインで評価したガウス人から,タスク毎の深さを推定するガウス的ガイダンスフレームワークであるAgent-G$^2$を提案する。センターはグローバルベースラインとクラスタごとの難易度、クラスタ内の分散トラックを結合する。我々は ALFWorld 上で Agent-G$^2$ と Qwen2.5-1.5B / 7B-Instruct 上で WebShop を評価した。 Agent-G$^2$は、ALFWorld上の最も強いヒントベース、ヒントフリー、およびAux-RLベースラインの2.3 / 3.9 / 7.4ポイントを、サンプル当たりのロールアウトコストの3分の1以下で上回る。

関連論文リスト

3SPO: State-Score-Supervised Policy Optimization for LLM Agents [25.01222941080024]
動的状態スコア監視による後段ポリシー最適化を行う新しいRLアルゴリズムである textbf State-Score-Supervised Policy Optimization (3SPO) を提案する。 ALFWorld と WebShop の実験では、Qwen2.5-1.5B/7B-Instruct で 3SPO は ALFWorld で$+22.6%、WebShop で$+15.6$ で GRPO を一貫して上回っている。
論文参考訳（メタデータ） (2026-06-08T14:26:05Z)
Order-Optimal Regret in Distributed Kernel Bandits using Uniform Sampling with Shared Randomness [9.731329071569018]
我々はN$エージェントが未知の報酬関数を協調的に最大化する分散カーネルの帯域を考える。我々は,通信コストが$N$と$T$に比例する,最適な後悔順序を達成するアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-02-20T17:49:10Z)
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文参考訳（メタデータ） (2023-05-29T17:11:28Z)
Scalable Primal-Dual Actor-Critic Method for Safe Multi-Agent RL with General Utilities [12.104551746465932]
安全マルチエージェント強化学習について検討し、エージェントはそれぞれの安全制約を満たしつつ、局所的な目的の総和をまとめて最大化しようとする。我々のアルゴリズムは、$mathcalOleft(T-2/3right)$のレートで1次定常点(FOSP)に収束する。サンプルベースの設定では、高い確率で、我々のアルゴリズムは、$epsilon$-FOSPを達成するために$widetildemathcalOleft(epsilon-3.5right)$サンプルが必要です。
論文参考訳（メタデータ） (2023-05-27T20:08:35Z)
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs [60.40452803295326]
線形マルコフ決定過程(MDP)を学習するための新たな報酬なしアルゴリズムを提案する。我々のアルゴリズムの核心は、探索駆動の擬似回帰を用いた不確実性重み付き値目標回帰である。我々のアルゴリズムは$tilde O(d2varepsilon-2)$ episodesを探索するだけで、$varepsilon$-optimal policyを見つけることができる。
論文参考訳（メタデータ） (2023-03-17T17:53:28Z)
Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文参考訳（メタデータ） (2022-06-13T19:11:22Z)
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-23T09:03:24Z)
Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
論文参考訳（メタデータ） (2021-10-21T15:25:15Z)
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文参考訳（メタデータ） (2021-10-19T07:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。