論文の概要: Training Language Agents to Learn from Experience

• arxiv url: http://arxiv.org/abs/2605.20477v1
• Date: Tue, 19 May 2026 20:41:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.371
• Title: Training Language Agents to Learn from Experience
• Title（参考訳）: 経験から学ぶための言語エージェントの訓練
• Authors: Yuval Shalev, Zifeng Ding, Mateja Jamnik,
• Abstract要約: In-context Training taskは、言語エージェントにおけるクロスタスク自己改善を評価するためのフレームワークである。 次に、経験から直接、そのような反射を学習するためのRLベースのトレーニングパイプラインを提案する。 ALFWorldとMiniHack全体で、トレーニングされたリフレクタは、ほとんどの保留タスクファミリでトレーニングされていないベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 25.31745060337765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language agents can adapt from experience in interactive environments, but current reflection-based methods can only self-correct within a single task instance. Whether such experience can be distilled into reusable lessons that improve performance on future unseen tasks remains unclear. We address this problem by introducing the In-context Training (ICT) task, a framework for evaluating cross-task self-improvement in language agents. In ICT, a reflector model observes trajectories collected by an actor model and generates system prompts intended to improve the actor's performance on future unseen tasks. We then propose an RL-based training pipeline for learning such reflections directly from experience, without human-provided examples. Across ALFWorld and MiniHack, our trained reflectors outperform an untrained baseline on most held-out task families, showing that the ability to learn from experience can itself be learned. In some cases, we observe generalisation beyond the benchmark on which the reflector was trained, to substantially different environments. Finally, we introduce MetaGym, a generic Python library for constructing meta-environments, enabling future research on self-improving language agents.
• Abstract（参考訳）: 言語エージェントはインタラクティブな環境での経験から適応することができるが、現在のリフレクションベースのメソッドは単一のタスクインスタンス内でのみ自己修正できる。 このような経験を、将来の目に見えないタスクのパフォーマンスを向上させる再利用可能なレッスンに抽出できるかどうかは不明だ。 In-context Training (ICT) タスクを導入することでこの問題に対処する。 ICTにおいて、リフレクタモデルはアクターモデルによって収集された軌跡を観測し、将来の目に見えないタスクにおいてアクターのパフォーマンスを改善するためのシステムプロンプトを生成する。 そこで我々は,そのような反射を直接経験から学習するためのRLベースのトレーニングパイプラインを提案する。 ALFWorldとMiniHack全体で、トレーニングされたリフレクタは、ほとんどの保持されたタスクファミリでトレーニングされていないベースラインよりも優れています。 いくつかのケースでは、リフレクタがトレーニングされたベンチマークを超えて、かなり異なる環境に一般化されていることを観察する。 最後にメタ環境を構築するための汎用PythonライブラリであるMetaGymを紹介する。

関連論文リスト

• Experiential Reflective Learning for Self-Improving LLM Agents [1.1074589887824053]
  実験的反射学習(ERL:Experiential Reflective Learning)は,迅速な環境適応を実現するシンプルな自己改善フレームワークである。 ERLはタスクの軌跡と成果を反映して、タスク間で伝達される実行可能なレッスンを生成する。 ERLはReActベースラインよりも成功率を7.8%向上させ、タスク完了の信頼性を大きく向上させる。
  論文  参考訳（メタデータ） (2026-03-25T11:43:22Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• Retrospex: Language Agent Meets Offline Reinforcement Learning Critic [4.776906435812746]
  Retrospexは、過去の経験を深く分析するエージェントフレームワークである。 LLMの行動可能性と強化学習批判によって推定される行動値を組み合わせる。 我々は,ScienceWorld,ALFWorld,Webshop環境におけるRetrospexを評価した。
  論文  参考訳（メタデータ） (2025-05-17T03:28:24Z)
• Playpen: An Environment for Exploring Learning Through Conversational Interaction [84.0413820245725]
  本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。 本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。 SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
  論文  参考訳（メタデータ） (2025-04-11T14:49:33Z)
• Re-ReST: Reflection-Reinforced Self-Training for Language Agents [101.22559705696885]
  言語エージェントにおける自己学習は、エージェント自体から監督を生成することができる。 リフレクション強化自己学習(Reflection-Reinforced Self-Training, Re-ReST)は, テキストレフレクタを用いて低品質な試料を精製する。
  論文  参考訳（メタデータ） (2024-06-03T16:21:38Z)
• Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning [0.0]
  本稿では,事前訓練されたタスク非依存言語モデルによって,目標条件付きRLエージェントをより効率的にする方法について述べる。 私たちは、異なる関連するタスク間の伝達学習を容易にすることで、これを実現します。
  論文  参考訳（メタデータ） (2020-07-10T06:42:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。