論文の概要: Collaborative Best Arm Identification with Limited Communication on Non-IID Data

• arxiv url: http://arxiv.org/abs/2207.08015v1
• Date: Sat, 16 Jul 2022 21:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 07:49:30.841405
• Title: Collaborative Best Arm Identification with Limited Communication on Non-IID Data
• Title（参考訳）: 非IIDデータを用いた限られた通信による協調的ベストアーム識別
• Authors: Nikolai Karpov and Qin Zhang
• Abstract要約: 非IIDデータを用いた協調学習モデルにおいて、タイムスピードアップと学習プロセスのコミュニケーションラウンド数とのトレードオフについて検討する。 学習過程における適応性は,非IIDデータ設定においてあまり役に立たないことを示す。
• 参考スコア（独自算出の注目度）: 6.861971769602314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the tradeoffs between time-speedup and the number of communication rounds of the learning process in the collaborative learning model on non-IID data, where multiple agents interact with possibly different environments and they want to learn an objective in the aggregated environment. We use a basic problem in bandit theory called best arm identification in multi-armed bandits as a vehicle to deliver the following conceptual message: Collaborative learning on non-IID data is provably more difficult than that on IID data. In particular, we show the following: a) The speedup in the non-IID data setting can be less than $1$ (that is, a slowdown). When the number of rounds $R = O(1)$, we will need at least a polynomial number of agents (in terms of the number of arms) to achieve a speedup greater than $1$. This is in sharp contrast with the IID data setting, in which the speedup is always at least $1$ when $R \ge 2$ regardless of number of agents. b) Adaptivity in the learning process cannot help much in the non-IID data setting. This is in sharp contrast with the IID data setting, in which to achieve the same speedup, the best non-adaptive algorithm requires a significantly larger number of rounds than the best adaptive algorithm. In the technique space, we have further developed the generalized round elimination technique introduced in arXiv:1904.03293. We show that implicit representations of distribution classes can be very useful when working with complex hard input distributions and proving lower bounds directly for adaptive algorithms.
• Abstract（参考訳）: 本稿では,非iidデータを用いた協調学習モデルにおいて,複数のエージェントが潜在的に異なる環境と相互作用し,集約された環境で目標を学習したい場合の,学習プロセスの時間短縮とコミュニケーションラウンド数とのトレードオフについて検討する。 我々は、マルチアームバンディットにおけるベストアーム識別と呼ばれるバンディット理論の基本的問題を用いて、以下の概念的メッセージを提供する。 特に、下記のとおりである。 a)IID以外のデータ設定のスピードアップは、1ドル以下(つまりスローダウン)にできる。 ラウンド数が$R = O(1)$のとき、最低でも1ドル以上のスピードアップを達成するためには、(武器の数に関して)エージェントの多項式数が必要である。 これは、エージェント数に関係なく$r \ge 2$の場合、スピードアップが少なくとも1ドルであるiidデータセットとは全く対照的である。 b) 学習プロセスにおける適応性は,非IIDデータ設定においてあまり役に立たない。 これは、同じスピードアップを達成するために、最高の非適応アルゴリズムは、最適な適応アルゴリズムよりもはるかに多くのラウンドを必要とするIDDデータ設定とは対照的である。 技術分野では、arXiv:1904.03293で導入された一般化円形除去技術をさらに発展させた。 複雑なハードインプット分布を扱い、適応アルゴリズムの下位境界を直接証明する場合、分布クラスの暗黙的な表現は非常に有用であることを示す。

関連論文リスト

• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• Collaboration in Immersive Environments: Challenges and Solutions [0.0]
  本稿では,没入型環境における協調研究の現状について概説する。 それはVRやARなど、没入型環境のさまざまなタイプと、これらの環境で起こりうるコラボレーションのさまざまな形態について論じている。
  論文  参考訳（メタデータ） (2023-11-01T17:45:22Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Heterogeneous Embodied Multi-Agent Collaboration [21.364827833498254]
  不均一なマルチエージェントタスクは現実世界のシナリオでは一般的である。 本稿では,複数の異種エージェントが協調して異種物体を検出し,適切な位置に配置する異種マルチエージェント・タイピング・アップタスクを提案する。 本稿では, 乱れ検出に基づく階層的決定モデル, 合理的な受容器予測, およびハンドシェイクに基づくグループ通信機構を提案する。
  論文  参考訳（メタデータ） (2023-07-26T04:33:05Z)
• Adaptive Coordination in Social Embodied Rearrangement [49.35582108902819]
  本研究では,エージェントが新しいパートナーと協力し,ロボットが新しいパートナーと協力するシナリオをエミュレートする作業において,ゼロショットコーディネート(ZSC)を研究する。 本稿では,識別可能性の目的を通じて多様性を促進する新しいZSCアプローチである行動多様性プレイ(BDP)を提案する。 以上の結果から,BDPは視覚的コーディネーションに対処可能な適応エージェントを学習し,ゼロショットは未確認環境において新たなパートナーに一般化し,ベースラインに比べて35%,効率が32%向上した。
  論文  参考訳（メタデータ） (2023-05-31T18:05:51Z)
• Rethinking Trajectory Prediction via "Team Game" [118.59480535826094]
  本稿では,対話型グループコンセンサスの概念を明示的に導入した,マルチエージェント軌道予測の新しい定式化について述べる。 チームスポーツと歩行者の2つのマルチエージェント設定において,提案手法は既存手法と比較して常に優れた性能を達成している。
  論文  参考訳（メタデータ） (2022-10-17T07:16:44Z)
• Stateful active facilitator: Coordination and Environmental Heterogeneity in Cooperative Multi-Agent Reinforcement Learning [71.53769213321202]
  環境の調整レベルと不均一度の概念を定式化する。 異なるMARLアプローチの実証評価を容易にするマルチエージェント環境のスイートであるHECOGridを提案する。 本研究では,エージェントが高配向環境と高配向環境において効率的に作業することを可能にする訓練分散実行学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-04T18:17:01Z)
• Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share? [7.489793155793319]
  本研究は,本質的なモチベーションを通じて得られた情報と,より効率的な探索と学習の高速化を目的とした情報を組み合わせることに焦点を当てる。 計算コストの少ない協調的なフレームワークが知識を共有することなく独立した学習プロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-24T16:15:51Z)
• Cooperative Policy Learning with Pre-trained Heterogeneous Observation Representations [51.8796674904734]
  事前訓練された異種観察表現を用いた新たな協調学習フレームワークを提案する。 エンコーダ-デコーダに基づくグラフアテンションを用いて、複雑な相互作用と異種表現を学習する。
  論文  参考訳（メタデータ） (2020-12-24T04:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。