論文の概要: Improving Retrospective Language Agents via Joint Policy Gradient Optimization

• arxiv url: http://arxiv.org/abs/2503.01490v1
• Date: Mon, 03 Mar 2025 12:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:20:17.409867
• Title: Improving Retrospective Language Agents via Joint Policy Gradient Optimization
• Title（参考訳）: 統合ポリシー勾配最適化による振り返り言語エージェントの改善
• Authors: Xueyang Feng, Bo Lan, Quanyu Dai, Lei Wang, Jiakai Tang, Xu Chen, Zhenhua Dong, Ji-Rong Wen,
• Abstract要約: RetroActは、言語エージェントのタスク計画と自己反射進化機能を共同で最適化するフレームワークである。 模倣学習と強化学習を統合した2段階共同最適化プロセスを開発した。 RetroActはタスクのパフォーマンスと意思決定プロセスを大幅に改善しています。
• 参考スコア（独自算出の注目度）: 57.35348425288859
• License:
• Abstract: In recent research advancements within the community, large language models (LLMs) have sparked great interest in creating autonomous agents. However, current prompt-based agents often heavily rely on large-scale LLMs. Meanwhile, although fine-tuning methods significantly enhance the capabilities of smaller LLMs, the fine-tuned agents often lack the potential for self-reflection and self-improvement. To address these challenges, we introduce a novel agent framework named RetroAct, which is a framework that jointly optimizes both task-planning and self-reflective evolution capabilities in language agents. Specifically, we develop a two-stage joint optimization process that integrates imitation learning and reinforcement learning, and design an off-policy joint policy gradient optimization algorithm with imitation learning regularization to enhance the data efficiency and training stability in agent tasks. RetroAct significantly improves the performance of open-source models, reduces dependency on closed-source LLMs, and enables fine-tuned agents to learn and evolve continuously. We conduct extensive experiments across various testing environments, demonstrating RetroAct has substantial improvements in task performance and decision-making processes.
• Abstract（参考訳）: コミュニティ内での最近の研究の進展で、大規模言語モデル(LLM)が自律的なエージェントの作成に大きな関心を喚起した。 しかし、現在のプロンプトベースのエージェントは大規模LSMに大きく依存することが多い。 一方、微調整法は小さいLDMの能力を著しく向上させるが、微調整剤は自己反射や自己改善の可能性を欠いていることが多い。 これらの課題に対処するため,言語エージェントにおけるタスク計画と自己回帰進化の両機能を共同で最適化するフレームワークであるRetroActという新しいエージェントフレームワークを紹介した。 具体的には、模擬学習と強化学習を統合した2段階共同最適化プロセスを開発し、エージェントタスクにおけるデータ効率と訓練安定性を向上させるために、模擬学習正規化を用いた非政治共同政策勾配最適化アルゴリズムを設計する。 RetroActは、オープンソースモデルの性能を大幅に改善し、クローズドソース LLM への依存を低減し、微調整エージェントを継続的に学習し、進化させることができる。 RetroActはタスクのパフォーマンスと意思決定プロセスを大幅に改善しています。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models [5.0741409008225755]
  大規模言語モデル(LLM)は、ロボットの課題を解決するための有望なツールとして登場した。 既存のLSMベースのエージェントは、過去の相互作用を維持および学習する能力に欠ける。 RAG-Modulo は,過去のインタラクションを記憶した LLM ベースのエージェントを強化し,エージェントの判断を評価するための批判を取り入れたフレームワークである。
  論文  参考訳（メタデータ） (2024-09-18T20:03:32Z)
• CoEvol: Constructing Better Responses for Instruction Finetuning through Multi-Agent Cooperation [33.33513657902765]
  命令に対する応答を改善するためのLLMベースのマルチエージェント協調フレームワークであるCoEvolを提案する。 実証的には、CoEvolを搭載したモデルはMT-BenchとAlpacaEvalで評価された競争ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-06-11T08:35:37Z)
• CMAT: A Multi-Agent Collaboration Tuning Framework for Enhancing Small Language Models [8.123272461141815]
  厳密にキュレートされた高品質データセットに基づいてトレーニングされたTinyAgentモデルを紹介する。 また,言語エージェントの能力向上を目的とした革新的システムであるCMAT(Collaborative Multi-Agent Tuning)フレームワークを提案する。 本研究では,マルチエージェントシステムと環境フィードバック機構を統合した新しいコミュニケーションエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T06:07:35Z)
• Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents [49.85633804913796]
  本稿では,ETOと呼ばれる探索に基づく軌道最適化手法を提案する。 この学習方法はオープンLLMエージェントの性能を向上させるために設計されている。 3つの複雑なタスクに関する実験は、ETOがベースライン性能をはるかに上回っていることを示す。
  論文  参考訳（メタデータ） (2024-03-04T21:50:29Z)
• Offline Training of Language Model Agents with Functions as Learnable Weights [39.88545362699836]
  LLM重みを変更することなくLLM(Large Language Models)エージェントを訓練する新しいパラダイムを提案する。 LLMを利用してエージェントの機能を更新し、ロールバックとアーリーストップという2つの戦略でエージェントトレーニングアルゴリズムを考案するエージェントを開発する。 広範囲な実験により、エージェント訓練パラダイムが代表的LLMエージェントの性能を大幅に改善できることが示される。
  論文  参考訳（メタデータ） (2024-02-17T18:31:21Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。