論文の概要: GEM: A Gym for Agentic LLMs

• arxiv url: http://arxiv.org/abs/2510.01051v1
• Date: Wed, 01 Oct 2025 15:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.65689
• Title: GEM: A Gym for Agentic LLMs
• Title（参考訳）: GEM:エージェントLDMのためのジム
• Abstract要約: General Experience Maker (GEM) は、大規模言語モデル(LLM)の時代に設計されたオープンソースの環境シミュレータである。 GEMは、高スループットのための非同期ベクトル化実行を含む環境エージェントインタフェースの標準化されたフレームワークを提供する。 GEMを用いてPPO,GRPO,REINFORCEのアップル・ツー・アップル・ベンチマークを行い,アルゴリズム設計に光を当てる。
• 参考スコア（独自算出の注目度）: 88.36970707762424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training paradigm for large language models (LLMs) is moving from static datasets to experience-based learning, where agents acquire skills via interacting with complex environments. To facilitate this transition we introduce GEM (General Experience Maker), an open-source environment simulator designed for the age of LLMs. Analogous to OpenAI-Gym for traditional reinforcement learning (RL), GEM provides a standardized framework for the environment-agent interface, including asynchronous vectorized execution for high throughput, and flexible wrappers for easy extensibility. GEM also features a diverse suite of environments, robust integrated tools, and single-file example scripts demonstrating using GEM with five popular RL training frameworks. Along with this, we also provide a set of baselines across 24 environments using REINFORCE with Return Batch Normalization (ReBN), which -- unlike GRPO -- is compatible with the full RL setting of dense per-turn rewards and offers better credit assignment. We further conduct apple-to-apple benchmarking of PPO, GRPO and REINFORCE in both single- and multi-turn settings using GEM to shed light on the algorithmic designs. Lastly, GEM also functions as a convenient evaluation toolkit besides a training environment. We hope this framework can help accelerate future agentic LLM research.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングパラダイムは、静的データセットから、複雑な環境とのインタラクションを通じてエージェントがスキルを取得するエクスペリエンスベースの学習へと移行している。 GEM(General Experience Maker)は,LLM時代のオープンソース環境シミュレータである。 従来の強化学習(RL)のためのOpenAI-Gymに類似して、GEMは、高スループットの非同期ベクトル化実行や、拡張性の容易なフレキシブルラッパーを含む、環境エージェントインターフェースのための標準化されたフレームワークを提供する。 GEMには、さまざまな環境スイート、堅牢な統合ツール、および5つの人気のあるRLトレーニングフレームワークでGEMを使用することを実証するシングルファイル例スクリプトも備えている。 GRPOとは異なり、ターン当たりの高密度な報酬の完全なRL設定と互換性があり、より優れたクレジット割り当てを提供する。 我々はさらに,GEMを用いてPPO,GRPO,REINFORCEのアップル・ツー・アップル・ベンチマークを行い,アルゴリズム設計に光を当てる。 最後に、GEMはトレーニング環境以外の便利な評価ツールキットとしても機能する。 このフレームワークが将来のエージェントLDM研究の加速に役立つことを願っている。

関連論文リスト

• Simulating Environments with Reasoning Models for Agent Training [55.98861707136674]
  トレーニング用の起動環境の構築は重く、脆く、進捗を制限します。 我々はSimia-SFTとSimia-RLの2つのフレームワークを提案する。 Simia-SFTとSimia-RLは、環境工学を使わずにスケーラブルなエージェントトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-11-03T18:29:57Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use [50.52940111891476]
  大きな言語モデルは基本的な推論では優れているが、外部ツールとのインタラクションを必要とするタスクには苦労する。 マルチラウンドツール用プラグイン・アンド・プレイ強化学習フレームワークであるRLFactoryを提案する。
  論文  参考訳（メタデータ） (2025-08-31T16:47:31Z)
• AgentFly: Extensible and Scalable Reinforcement Learning for LM Agents [25.735754822676277]
  言語モデル(LM)エージェントは、自律的にタスクを完了させる能力において、大きな注目を集めている。 強化学習(RL)は、推論や事実性など、LMの能力を高めるために研究されている。 AgentFlyは、多様なRLアルゴリズムでLMエージェントを強化するために設計されたスケーラブルでエージェント-RLフレームワークである。
  論文  参考訳（メタデータ） (2025-07-20T10:22:36Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• FamilyTool: A Multi-hop Personalized Tool Use Benchmark [93.80355496575281]
  FamilyToolは、パーソナライズされたマルチホップツールの使用シナリオをシミュレートする、家族ベースのナレッジグラフ(KG)に基盤を置くベンチマークである。 実験により、最先端の大規模言語モデル(LLM)における顕著な性能ギャップが明らかになった FamilyToolは、複雑な動的環境において、LLMエージェントの推論、適応性、スケーラビリティを評価し、前進するための重要なリソースとなる。
  論文  参考訳（メタデータ） (2025-04-09T10:42:36Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。