Fugu-MT 論文翻訳(概要): Reducing Redundant Computation in Multi-Agent Coordination through Locally Centralized Execution

論文の概要: Reducing Redundant Computation in Multi-Agent Coordination through Locally Centralized Execution

arxiv url: http://arxiv.org/abs/2404.13096v1
Date: Fri, 19 Apr 2024 06:13:37 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 20:28:09.494048
Title: Reducing Redundant Computation in Multi-Agent Coordination through Locally Centralized Execution
Title（参考訳）: 局所集中型実行によるマルチエージェントコーディネーションにおける冗長計算の削減
Authors: Yidong Bai, Toshiharu Sugawara,
Abstract要約: 本研究では,局所集中型チームトランス (LCTT) と呼ばれる新しい手法を提案する。 LCTTは、選択されたエージェントがリーダーとして機能し、指示を発行するローカル集中型の実行フレームワークを確立し、残りのエージェントは、労働者として指定され、ポリシーネットワークをアクティベートすることなく、これらの命令として振る舞う。実験の結果,提案手法は効率よく冗長計算を削減し,報酬水準を低下させることなく,学習の収束を早めることを示した。
参考スコア（独自算出の注目度）: 1.260132853894322
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In multi-agent reinforcement learning, decentralized execution is a common approach, yet it suffers from the redundant computation problem. This occurs when multiple agents redundantly perform the same or similar computation due to overlapping observations. To address this issue, this study introduces a novel method referred to as locally centralized team transformer (LCTT). LCTT establishes a locally centralized execution framework where selected agents serve as leaders, issuing instructions, while the rest agents, designated as workers, act as these instructions without activating their policy networks. For LCTT, we proposed the team-transformer (T-Trans) architecture that allows leaders to provide specific instructions to each worker, and the leadership shift mechanism that allows agents autonomously decide their roles as leaders or workers. Our experimental results demonstrate that the proposed method effectively reduces redundant computation, does not decrease reward levels, and leads to faster learning convergence.
Abstract（参考訳）: マルチエージェント強化学習では、分散実行は一般的なアプローチであるが、冗長な計算問題に悩まされている。これは複数のエージェントが重複する観測のために同じまたは類似の計算を冗長に実行するときに発生する。そこで本研究では,ローカル・集中型チーム・トランスフォーマー(LCTT)と呼ばれる新しい手法を提案する。 LCTTは、選択されたエージェントがリーダーとして機能し、指示を発行するローカル集中型の実行フレームワークを確立し、残りのエージェントは、労働者として指定され、ポリシーネットワークをアクティベートすることなく、これらの命令として振る舞う。 LCTTでは,チームトランスフォーマー(T-Trans)アーキテクチャを提案し,リーダーがそれぞれの労働者に特定の指示を下せるようにし,エージェントがリーダーや労働者として自律的に役割を決定できるリーダーシップシフト機構を提案した。実験の結果,提案手法は効率よく冗長計算を削減し,報酬水準を低下させることなく,学習の収束を早めることを示した。

関連論文リスト

Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文参考訳（メタデータ） (2024-04-04T06:24:11Z)
Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL? [27.037348104661497]
分散実行によるトレーニングは、協調的マルチエージェント強化学習のための一般的なフレームワークである。マルチエージェント強化学習のためのCADP(Advising and Decentralized Pruning)フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-27T03:15:24Z)
The challenge of redundancy on multi-agent value factorisation [12.63182277116319]
協調型マルチエージェント強化学習(MARL)の分野において、標準パラダイムは集中型トレーニングと分散実行の利用である。そこで我々は,LRP(Layerwise Relevance propagation)を利用して,結合値関数の学習と局所報酬信号の生成を分離する手法を提案する。 VDNとQmixの両方のベースラインの性能は冗長エージェントの数によって低下するが、RDNは影響を受けない。
論文参考訳（メタデータ） (2023-03-28T20:41:12Z)
Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
論文参考訳（メタデータ） (2022-12-15T17:01:56Z)
Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
論文参考訳（メタデータ） (2022-01-29T00:52:37Z)
Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文参考訳（メタデータ） (2021-11-23T18:24:47Z)
DSDF: An approach to handle stochastic agents in collaborative multi-agent reinforcement learning [0.0]
ロボットの機能低下や老化によって引き起こされるエージェントの真偽が、協調の不確実性にどのように寄与するかを示す。 DSDFは不確実性に応じてエージェントの割引係数を調整し,その値を用いて個々のエージェントのユーティリティネットワークを更新する。
論文参考訳（メタデータ） (2021-09-14T12:02:28Z)
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach [6.802025156985356]
本稿では,MARLを状態ネットワークで学習するために,局所学習と分散実行というフレームワークを提案する。鍵となる考え方は、エージェントの均質性を利用し、それらの状態に応じてそれらを再分類することであり、それによってネットワーク化されたマルコフ決定過程が定式化される。
論文参考訳（メタデータ） (2021-08-05T16:52:36Z)
What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
論文参考訳（メタデータ） (2021-04-29T20:34:39Z)
Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
論文参考訳（メタデータ） (2020-07-03T23:08:14Z)
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。