論文の概要: LLM-Mediated Guidance of MARL Systems

• arxiv url: http://arxiv.org/abs/2503.13553v1
• Date: Sun, 16 Mar 2025 20:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:31.839356
• Title: LLM-Mediated Guidance of MARL Systems
• Title（参考訳）: MARLシステムのLCMによる誘導
• Authors: Philipp D. Siedler, Ian Gemp,
• Abstract要約: 複雑なマルチエージェント環境では、効率的な学習と望ましい行動を達成することが、マルチエージェント強化学習システムの課題である。 この研究は、MARLとLLM(Large Language Model)による介入を組み合わせ、より望ましい行動へエージェントを誘導する可能性を探る。
• 参考スコア（独自算出の注目度）: 3.5471755479440055
• License:
• Abstract: In complex multi-agent environments, achieving efficient learning and desirable behaviours is a significant challenge for Multi-Agent Reinforcement Learning (MARL) systems. This work explores the potential of combining MARL with Large Language Model (LLM)-mediated interventions to guide agents toward more desirable behaviours. Specifically, we investigate how LLMs can be used to interpret and facilitate interventions that shape the learning trajectories of multiple agents. We experimented with two types of interventions, referred to as controllers: a Natural Language (NL) Controller and a Rule-Based (RB) Controller. The NL Controller, which uses an LLM to simulate human-like interventions, showed a stronger impact than the RB Controller. Our findings indicate that agents particularly benefit from early interventions, leading to more efficient training and higher performance. Both intervention types outperform the baseline without interventions, highlighting the potential of LLM-mediated guidance to accelerate training and enhance MARL performance in challenging environments.
• Abstract（参考訳）: 複雑なマルチエージェント環境では、効率的な学習と望ましい行動を達成することが、マルチエージェント強化学習(MARL)システムにとって重要な課題である。 この研究は、MARLとLLM(Large Language Model)による介入を組み合わせ、より望ましい行動へエージェントを誘導する可能性を探る。 具体的には,複数のエージェントの学習軌跡を形作る介入の解釈と促進にLLMをどのように利用できるかを検討する。 我々は,自然言語(NL)コントローラとルールベース(RB)コントローラの2種類の介入実験を行った。 人間の介入をシミュレーションするためにLLMを使用するNLコントローラは、RBコントローラよりも強い影響を示した。 以上の結果から, エージェントは早期介入の恩恵を受け, 訓練の効率化とパフォーマンスの向上に寄与することが示唆された。 どちらの介入も介入なしにベースラインよりも優れており、学習を加速し、挑戦的な環境でのMARL性能を高めるためのLCMによるガイダンスの可能性を強調している。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• O-MAPL: Offline Multi-agent Preference Learning [5.4482836906033585]
  実演から報酬関数を推定することは強化学習(RL)の重要な課題である 協調型MARLのためのエンドツーエンドの嗜好に基づく新しい学習フレームワークを提案する。 我々のアルゴリズムは様々なタスクにまたがって既存の手法より優れている。
  論文  参考訳（メタデータ） (2025-01-31T08:08:20Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
  大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。 本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-10-24T14:31:52Z)
• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models [37.476241509187304]
  大規模言語モデル(LLM)は、広範囲なデータに対する事前学習を通じて、優れたパフォーマンスを達成する。 基本的なメカニズムにおける解釈可能性の欠如は、特定のアプリケーションに対してLLMを効果的に操る能力を制限する。 本研究では,眼球運動計測を用いた認知的視点からLLMのメカニズムを考察する。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)
• Controlling Large Language Model Agents with Entropic Activation Steering [20.56909601159833]
  In-context Learning Agent のためのアクティベーションステアリングである Entropic Activation Steering (EAST) を導入する。 EAST は LLM の出力から解析された高レベルな動作に直接影響を与えることにより LLM エージェントの探索を効果的に操作できることを示す。 また, この制御を適用することで, LLMの思考に現れる不確実性を調節し, エージェントをより探索的な行動へと導くことも明らかにした。
  論文  参考訳（メタデータ） (2024-06-01T00:25:00Z)
• Large Language Model as a Policy Teacher for Training Reinforcement Learning Agents [16.24662355253529]
  LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。 LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。 LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-11-22T13:15:42Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• Relative Distributed Formation and Obstacle Avoidance with Multi-agent Reinforcement Learning [20.401609420707867]
  マルチエージェント強化学習(MARL)に基づく分散生成・障害物回避手法を提案する。 提案手法は, 障害物回避における生成誤差, 生成収束率, オンパー成功率に関して, ベースラインと比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-11-14T13:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。