論文の概要: GEM: A Gym for Agentic LLMs

• arxiv url: http://arxiv.org/abs/2510.01051v1
• Date: Wed, 01 Oct 2025 15:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.65689
• Title: GEM: A Gym for Agentic LLMs
• Title（参考訳）: GEM:エージェントLDMのためのジム
• Authors: Zichen Liu, Anya Sims, Keyu Duan, Changyu Chen, Simon Yu, Xiangxin Zhou, Haotian Xu, Shaopan Xiong, Bo Liu, Chenmien Tan, Chuen Yang Beh, Weixun Wang, Hao Zhu, Weiyan Shi, Diyi Yang, Michael Shieh, Yee Whye Teh, Wee Sun Lee, Min Lin,
• Abstract要約: General Experience Maker (GEM) は、大規模言語モデル(LLM)の時代に設計されたオープンソースの環境シミュレータである。 GEMは、高スループットのための非同期ベクトル化実行を含む環境エージェントインタフェースの標準化されたフレームワークを提供する。 GEMを用いてPPO,GRPO,REINFORCEのアップル・ツー・アップル・ベンチマークを行い,アルゴリズム設計に光を当てる。
• 参考スコア（独自算出の注目度）: 88.36970707762424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training paradigm for large language models (LLMs) is moving from static datasets to experience-based learning, where agents acquire skills via interacting with complex environments. To facilitate this transition we introduce GEM (General Experience Maker), an open-source environment simulator designed for the age of LLMs. Analogous to OpenAI-Gym for traditional reinforcement learning (RL), GEM provides a standardized framework for the environment-agent interface, including asynchronous vectorized execution for high throughput, and flexible wrappers for easy extensibility. GEM also features a diverse suite of environments, robust integrated tools, and single-file example scripts demonstrating using GEM with five popular RL training frameworks. Along with this, we also provide a set of baselines across 24 environments using REINFORCE with Return Batch Normalization (ReBN), which -- unlike GRPO -- is compatible with the full RL setting of dense per-turn rewards and offers better credit assignment. We further conduct apple-to-apple benchmarking of PPO, GRPO and REINFORCE in both single- and multi-turn settings using GEM to shed light on the algorithmic designs. Lastly, GEM also functions as a convenient evaluation toolkit besides a training environment. We hope this framework can help accelerate future agentic LLM research.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングパラダイムは、静的データセットから、複雑な環境とのインタラクションを通じてエージェントがスキルを取得するエクスペリエンスベースの学習へと移行している。 GEM(General Experience Maker)は,LLM時代のオープンソース環境シミュレータである。 従来の強化学習(RL)のためのOpenAI-Gymに類似して、GEMは、高スループットの非同期ベクトル化実行や、拡張性の容易なフレキシブルラッパーを含む、環境エージェントインターフェースのための標準化されたフレームワークを提供する。 GEMには、さまざまな環境スイート、堅牢な統合ツール、および5つの人気のあるRLトレーニングフレームワークでGEMを使用することを実証するシングルファイル例スクリプトも備えている。 GRPOとは異なり、ターン当たりの高密度な報酬の完全なRL設定と互換性があり、より優れたクレジット割り当てを提供する。 我々はさらに,GEMを用いてPPO,GRPO,REINFORCEのアップル・ツー・アップル・ベンチマークを行い,アルゴリズム設計に光を当てる。 最後に、GEMはトレーニング環境以外の便利な評価ツールキットとしても機能する。 このフレームワークが将来のエージェントLDM研究の加速に役立つことを願っている。

関連論文リスト

• RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use [50.52940111891476]
  大きな言語モデルは基本的な推論では優れているが、外部ツールとのインタラクションを必要とするタスクには苦労する。 マルチラウンドツール用プラグイン・アンド・プレイ強化学習フレームワークであるRLFactoryを提案する。
  論文  参考訳（メタデータ） (2025-08-31T16:47:31Z)
• AgentFly: Extensible and Scalable Reinforcement Learning for LM Agents [25.735754822676277]
  言語モデル(LM)エージェントは、自律的にタスクを完了させる能力において、大きな注目を集めている。 強化学習(RL)は、推論や事実性など、LMの能力を高めるために研究されている。 AgentFlyは、多様なRLアルゴリズムでLMエージェントを強化するために設計されたスケーラブルでエージェント-RLフレームワークである。
  論文  参考訳（メタデータ） (2025-07-20T10:22:36Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• FamilyTool: A Multi-hop Personalized Tool Use Benchmark [93.80355496575281]
  FamilyToolは、パーソナライズされたマルチホップツールの使用シナリオをシミュレートする、家族ベースのナレッジグラフ(KG)に基盤を置くベンチマークである。 実験により、最先端の大規模言語モデル(LLM)における顕著な性能ギャップが明らかになった FamilyToolは、複雑な動的環境において、LLMエージェントの推論、適応性、スケーラビリティを評価し、前進するための重要なリソースとなる。
  論文  参考訳（メタデータ） (2025-04-09T10:42:36Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。