論文の概要: Sample-Efficient Learning from Agent Experience

• arxiv url: http://arxiv.org/abs/2607.21051v1
• Date: Thu, 23 Jul 2026 08:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.33601
• Title: Sample-Efficient Learning from Agent Experience
• Title（参考訳）: エージェント体験から学ぶサンプル効率
• Abstract要約: インコンテキスト学習は、エージェントが自身のインタラクション履歴から学ぶための、非常に効率的な方法を提供する。 しかし、その経験がコンテキストから取り除かれると、その利益は消える。 本稿では、この問題を経験蒸留と呼び、収集した経験以上の環境相互作用を必要としない実装を開発する。
• 参考スコア（独自算出の注目度）: 44.500774402801746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world agent learning is often constrained by costly environment interactions, such as running time-consuming experiments or obtaining human feedback. In-context learning offers a highly sample-efficient way for agents to learn from their own interaction histories, but its gains disappear once that experience is removed from the context. Separately, context distillation provides a mechanism for internalizing contextual information into model weights. However, applying it to agents' interaction histories without sacrificing environment sample efficiency remains underexplored. We term this problem Experience Distillation and develop an implementation that requires no further environment interaction beyond the collected experience. Experiments on 749 curated software-engineering tasks and six text-adventure games show that it retains at least 64.8\% of the gains from in-context learning across both domains, whereas direct supervised fine-tuning on the collected experience recovers only 3.8\%. Compared with classical reinforcement-learning baselines, in-context learning from trial-and-error experience followed by Experience Distillation matches their performance with at least \(9.6\times\) fewer environment samples.
• Abstract（参考訳）: 実世界のエージェント学習は、時間を要する実験の実行や人間のフィードバック獲得など、コストのかかる環境相互作用によって制約されることが多い。 コンテキスト内学習は、エージェントが自身のインタラクション履歴から学ぶための非常に効率的な方法を提供するが、その経験がコンテキストから取り除かれると、その成果は消える。 文脈蒸留は、文脈情報をモデル重みに内部化するメカニズムを提供する。 しかし、環境試料効率を犠牲にすることなく、エージェントの相互作用履歴にそれを適用することは、まだ未解明のままである。 本稿では、この問題を経験蒸留と呼び、収集した経験以上の環境相互作用を必要としない実装を開発する。 749のキュレートされたソフトウェアエンジニアリングタスクと6つのテキストアドベンチャーゲームの実験では、両方のドメイン間でのコンテキスト内学習の利得の少なくとも64.8 %を維持しているのに対し、収集した経験を直接監督した微調整は3.8 %しか回復していない。 古典的な強化学習ベースラインと比較すると、試行錯誤経験からの文脈内学習に続いて、経験蒸留は、少なくとも9.6\times\)より少ない環境サンプルとパフォーマンスを一致させる。

関連論文リスト

• LifeMem: Enabling Lifelong Experience Reuse for LLM Agents [79.11224209641739]
  LifeMemは、エージェントが複数の環境にまたがって知識を伝達できるようにする、生涯学習フレームワークである。 LifeMemは、再利用可能なスキルを抽出するために、基礎となる軌跡に基づく相互作用軌跡を蓄積した。 その結果、LifeMemは生涯学習における効果的な体験再利用を可能にし、学習課題の忘れを減らし、より優れたタスク間移動を実現することができることがわかった。
  論文  参考訳（メタデータ） (2026-09-11T10:00:43Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Rethinking Continual Experience Internalization for Self-Evolving LLM Agents [36.80404778289742]
  原則レベルのエクスペリエンスは、インスタンスレベルのエクスペリエンスよりも耐久性が高いことが分かりました。 ステップワイドインジェクションは、中間的決定状態と経験を整合させることで、グローバルインジェクションを著しく上回る。 高品質な教師軌道上のオフ・ポリティカル・コンテクスト蒸留は、オン・ポリティカル・コンテクスト蒸留よりもかなり安定した訓練信号を提供する。
  論文  参考訳（メタデータ） (2026-06-03T10:30:09Z)
• Rethinking Experience Utilization in Self-Evolving Language Model Agents [51.10420305280499]
  自己進化剤は過去の相互作用から経験を蓄積し再利用することで改善する。 本稿では,自己進化型エージェントの重要設計次元としての利用経験について考察する。
  論文  参考訳（メタデータ） (2026-05-08T02:48:49Z)
• Experiential Reflective Learning for Self-Improving LLM Agents [1.1074589887824053]
  実験的反射学習(ERL:Experiential Reflective Learning)は,迅速な環境適応を実現するシンプルな自己改善フレームワークである。 ERLはタスクの軌跡と成果を反映して、タスク間で伝達される実行可能なレッスンを生成する。 ERLはReActベースラインよりも成功率を7.8%向上させ、タスク完了の信頼性を大きく向上させる。
  論文  参考訳（メタデータ） (2026-03-25T11:43:22Z)
• Large Language Model Agents Are Not Always Faithful Self-Evolvers [84.08646612111092]
  自己進化型大規模言語モデル(LLM)エージェントは、過去の経験を蓄積し再利用することによって継続的に改善される。 本稿では,経験の忠実さ,エージェントの判断が与えられた経験に因果的依存を初めて体系的に調査する。
  論文  参考訳（メタデータ） (2026-01-30T01:05:15Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• Iterative Experience Refinement of Software-Developing Agents [81.09737243969758]
  大規模な言語モデル(LLM)は、過去の経験を活用してエラーを低減し、効率を高めることができる。 本稿では,LLMエージェントがタスク実行中に反復的に経験を洗練できる反復体験精錬フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T11:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。