論文の概要: Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One

• arxiv url: http://arxiv.org/abs/2505.15306v1
• Date: Wed, 21 May 2025 09:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.420691
• Title: Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One
• Title（参考訳）: 複数の弱みが単一の強みを勝ち取る: 弱み強化学習エージェントを最大限にまとめる大言語モデル
• Authors: Yiwen Song, Qianyue Hao, Qingmin Liao, Jian Yuan, Yong Li,
• Abstract要約: モデルアンサンブルは強化学習(RL)において有効なエージェントの訓練に有用である。 LLM-Ensは,タスク固有の意味理解を用いてRLモデルのアンサンブルを強化する手法である。
• 参考スコア（独自算出の注目度）: 28.264011412168347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model ensemble is a useful approach in reinforcement learning (RL) for training effective agents. Despite wide success of RL, training effective agents remains difficult due to the multitude of factors requiring careful tuning, such as algorithm selection, hyperparameter settings, and even random seed choices, all of which can significantly influence an agent's performance. Model ensemble helps overcome this challenge by combining multiple weak agents into a single, more powerful one, enhancing overall performance. However, existing ensemble methods, such as majority voting and Boltzmann addition, are designed as fixed strategies and lack a semantic understanding of specific tasks, limiting their adaptability and effectiveness. To address this, we propose LLM-Ens, a novel approach that enhances RL model ensemble with task-specific semantic understandings driven by large language models (LLMs). Given a task, we first design an LLM to categorize states in this task into distinct 'situations', incorporating high-level descriptions of the task conditions. Then, we statistically analyze the strengths and weaknesses of each individual agent to be used in the ensemble in each situation. During the inference time, LLM-Ens dynamically identifies the changing task situation and switches to the agent that performs best in the current situation, ensuring dynamic model selection in the evolving task condition. Our approach is designed to be compatible with agents trained with different random seeds, hyperparameter settings, and various RL algorithms. Extensive experiments on the Atari benchmark show that LLM-Ens significantly improves the RL model ensemble, surpassing well-known baselines by up to 20.9%. For reproducibility, our code is open-source at https://anonymous.4open.science/r/LLM4RLensemble-F7EE.
• Abstract（参考訳）: モデルアンサンブルは強化学習(RL)において有効なエージェントの訓練に有用である。 RLの広範な成功にもかかわらず、アルゴリズムの選択、ハイパーパラメータの設定、さらにはランダムな種の選択など、注意深くチューニングする必要がある要素が多岐にわたっているため、効果的なエージェントの訓練は依然として困難であり、いずれもエージェントのパフォーマンスに大きな影響を及ぼす可能性がある。 モデルアンサンブルは、複数の弱いエージェントを単一のより強力なエージェントに組み合わせ、全体的なパフォーマンスを向上させることで、この課題を克服するのに役立つ。 しかし、多数決やボルツマンの追加のような既存のアンサンブル法は固定的な戦略として設計されており、特定のタスクのセマンティックな理解が欠如しており、適応性と有効性が制限されている。 LLM-Ensは,大規模言語モデル(LLM)によって駆動されるタスク固有の意味理解を用いて,RLモデルのアンサンブルを強化する手法である。 タスクが与えられたら、まずLLMを設計し、タスク条件の高レベルな記述を取り入れて、このタスクの状態を別の"situations"に分類する。 そして,各状況で使用する各エージェントの強度と弱点を統計的に分析する。 推測時間中、LLM-Ensは変化するタスク状況を動的に識別し、現在の状況で最高の処理を行うエージェントに切り替え、進化するタスク条件における動的モデル選択を保証する。 我々のアプローチは、異なるランダムシード、ハイパーパラメータ設定、および様々なRLアルゴリズムで訓練されたエージェントと互換性があるように設計されている。 Atariベンチマークの大規模な実験によると、LLM-EnsはRLモデルのアンサンブルを大幅に改善し、有名なベースラインを最大20.9%上回った。 再現性については、https://anonymous.4open.science/r/LLM4RLensemble-F7EEで公開しています。

関連論文リスト

• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks [110.20297293596005]
  大規模言語モデル(LLM)エージェントは、実世界のタスクでマルチターンインタラクションを実行する必要がある。 LLMエージェントを最適化するための既存のマルチターンRLアルゴリズムは、LLMの一般化能力を活用しながら、複数回にわたって効果的なクレジット割り当てを行うことができない。 本稿では,新たなRLアルゴリズムであるSWEET-RLを提案する。 我々の実験は、SWEET-RLがコルベンチにおける成功率と勝利率を、他の最先端マルチターンRLアルゴリズムと比較して6%向上することを示した。
  論文  参考訳（メタデータ） (2025-03-19T17:55:08Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• Causal Coordinated Concurrent Reinforcement Learning [8.654978787096807]
  本稿では,データ共有と協調探索のための新しいアルゴリズムフレームワークを提案する。 本アルゴリズムは,独立規制による個人差分制御モデルパラメータの抽出において,付加雑音モデル-混合モデル(ANM-MM)という形で因果推論アルゴリズムを利用する。 抽出したモデルパラメータの類似度に基づく新しいデータ共有方式を提案し, 自己回帰, 振り子, カートポールのスイングアップタスクのセットにおいて, 優れた学習速度を示す。
  論文  参考訳（メタデータ） (2024-01-31T17:20:28Z)
• Generalized Hidden Parameter MDPs Transferable Model-based RL in a Handful of Trials [13.051708608864539]
  一般化隠れMDP(英: Generalized Hidden MDPs、GHP-MDPs)は、タスクによって異なる隠れパラメータの関数として、力学と報酬の両方が変化するMDPのファミリーを指す。 我々は、報酬空間と動的潜伏空間を用いた新しい課題である MuJoCo タスクに対して、最先端性能とサンプル効率を実験的に実証した。
  論文  参考訳（メタデータ） (2020-02-08T02:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。