論文の概要: Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?

• arxiv url: http://arxiv.org/abs/2610.08215v1
• Date: Tue, 06 Oct 2026 12:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.970703
• Title: Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
• Title（参考訳）: Learn2Play Bench: LLMエージェントは不慣れな環境での経験からどの程度学べるか?
• Abstract要約: Learn2Play Benchは、新しく設計されたテキストベースのゲームのベンチマークである。 これらのゲームは、事前訓練された知識にのみ依存するのではなく、相互作用を通じて知識を得るエージェントを必要とする。 筆者らは,バックボーンモデル,自己進化手法,エージェントハーネスがエージェントの学習能力に与える影響を評価する。
• 参考スコア（独自算出の注目度）: 48.23299126251927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from experience is essential for LLM agents to adapt to unfamiliar and dynmaic environments. Evaluating this ability is therefore important for understanding how effectively agents acquire and use new knowledge. Existing benchmarks have sought to evaluate this ability, but they primarily evaluate tasks whose rules are provided in the instructions or already familiar to pretrained models, making it difficult to distinguish learning from interactions from reasoning with existing knowledge. To address this, we introduce Learn2Play Bench, a benchmark of newly designed text-based games, whose rules are novel or counterintuitive, requiring agents to acquire knowledge through interaction rather than rely solely on pretrained knowledge. These games provide reproducible feedback and automatic scoring, enabling controlled evaluation of learning across repeated attempts. We also vary game instances to test whether agents can apply what they have learned to new situations. Therefore, we evaluate how backbone models, self-evolving methods, and agent harnesses affect agents' learning ability, revealing three findings: (1) Experience retention: Retaining complete records of actions and feedback can support more effective learning than summarizing these experiences into rules or strategies. (2) Human agent gap: Top-performing human players achieve higher peak scores than the evaluated agents. Human explore more varied strategies, and repeat actions less. (3) Harness matters: With the backbone fixed, changing the harness can improve performance while reducing estimated inference cost. Together, these findings provide insights into how LLM agents learn from experience and suggest directions for future work to improve their learning ability. Project website: https://liushiliushi.github.io/learn2play-bench-website/
• Abstract（参考訳）: 経験から学ぶことは、LLMエージェントが馴染みの無い、ジンマ的な環境に適応するために不可欠である。 したがって、この能力を評価することは、エージェントがいかにして新しい知識を効果的に獲得し利用するかを理解するために重要である。 既存のベンチマークでは、この能力の評価が試みられているが、主に、命令にルールが提供されたり、事前訓練されたモデルに慣れ親しんだタスクを評価しているため、既存の知識の推論から相互作用から学習を区別することは困難である。 そこで本研究では,新しく設計されたテキストベースのゲームのベンチマークであるLearner2Play Benchを紹介する。 これらのゲームは再現可能なフィードバックと自動スコアリングを提供し、繰り返し試みによる学習の制御を可能にする。 また、エージェントが学んだことを新しい状況に適用できるかどうかをテストするために、ゲームインスタンスも変更します。 そこで我々は, バックボーンモデル, 自己進化的手法, エージェント・ハーネスがエージェントの学習能力にどのように影響するかを評価し, 1) 経験的保持: 行動とフィードバックの完全な記録を保持することは, これらの経験をルールや戦略にまとめるよりも, より効果的な学習を支援することができる。 2) エージェントギャップ: 評価エージェントよりも高いピークスコアを達成する。 人間はより多様な戦略を探求し、より少ない行動を繰り返します。 (3) ハーネスが問題となる: バックボーンが固定されたことにより、ハーネスの変更は、推定推論コストを低減しつつ、パフォーマンスを向上させることができる。 これらの知見は、LLMエージェントが経験からどのように学習するかについての洞察を与え、学習能力を向上させるための今後の研究の方向性を提案する。 プロジェクトウェブサイト:https://liushiliushi.github.io/learn2play-bench-website/

関連論文リスト

• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Hierarchical Experimentalist Agents [9.21307651025192]
  大規模言語モデル(LLM)は、現実の世界でのアクションにますます使われています。 ほとんどのエージェントはパラメトリック知識、訓練後のデータの固定、検索、検索に頼っている。 アクティブな実験から学ぶために階層型実験エージェント(HExA)を紹介する。
  論文  参考訳（メタデータ） (2026-06-28T10:21:55Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback [16.268581985382433]
  人工知能の重要な目標は、人間と自然に対話し、フィードバックから学ぶことができるエージェントを作ることである。 ここでは、人間のフィードバックから強化学習を用いて、シミュレーションされたエンボディエージェントを改善する方法を紹介する。
  論文  参考訳（メタデータ） (2022-11-21T16:00:31Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners [26.006964607579004]
  本稿では,一般的な強化学習手法,Q-ラーニングに着目し,行動実験を用いた仮定について検討する。 本研究では,学習者の環境をシミュレートし,学習者の内的状態にフィードバックがどう影響するかを予測する深層学習近似手法を提案する。 この結果から,評価フィードバックを用いた学習の仕方や,直感的に機械エージェントを設計する方法についてのガイダンスが得られた。
  論文  参考訳（メタデータ） (2020-09-05T06:32:38Z)
• Learning from Learners: Adapting Reinforcement Learning Agents to be Competitive in a Card Game [71.24825724518847]
  本稿では,競争力のあるマルチプレイヤーカードゲームの現実的な実装を学習・プレイするために,一般的な強化学習アルゴリズムをどのように適用できるかについて検討する。 本研究は,学習エージェントに対して,エージェントが競争力を持つことの学習方法を評価するための特定のトレーニングと検証ルーチンを提案し,それらが相互の演奏スタイルにどのように適応するかを説明する。
  論文  参考訳（メタデータ） (2020-04-08T14:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。