論文の概要: One for One, or All for All: Equilibria and Optimality of Collaboration
in Federated Learning
- arxiv url: http://arxiv.org/abs/2103.03228v1
- Date: Thu, 4 Mar 2021 18:53:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 14:42:06.325389
- Title: One for One, or All for All: Equilibria and Optimality of Collaboration
in Federated Learning
- Title(参考訳): One for One, or All for All: フェデレーション学習におけるコラボレーションの平衡と最適性
- Authors: Avrim Blum, Nika Haghtalab, Richard Lanas Phillips, Han Shao
- Abstract要約: 本論文では,ゲーム理論の概念に触発されて,フェデレーション学習におけるインセンティブ認識学習とデータ共有のためのフレームワークを提案する。
安定でうらやましい平衡は、学習目標を達成することに関心のあるエージェントの存在下でのコラボレーションの概念を捉えます。
- 参考スコア(独自算出の注目度): 24.196114621742705
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, federated learning has been embraced as an approach for
bringing about collaboration across large populations of learning agents.
However, little is known about how collaboration protocols should take agents'
incentives into account when allocating individual resources for communal
learning in order to maintain such collaborations. Inspired by game theoretic
notions, this paper introduces a framework for incentive-aware learning and
data sharing in federated learning. Our stable and envy-free equilibria capture
notions of collaboration in the presence of agents interested in meeting their
learning objectives while keeping their own sample collection burden low. For
example, in an envy-free equilibrium, no agent would wish to swap their
sampling burden with any other agent and in a stable equilibrium, no agent
would wish to unilaterally reduce their sampling burden.
In addition to formalizing this framework, our contributions include
characterizing the structural properties of such equilibria, proving when they
exist, and showing how they can be computed. Furthermore, we compare the sample
complexity of incentive-aware collaboration with that of optimal collaboration
when one ignores agents' incentives.
- Abstract(参考訳): 近年、連合学習は、多数の学習エージェントにまたがるコラボレーションを実現するためのアプローチとして受け入れられている。
しかし、これらのコラボレーションを維持するために個別のリソースを共同学習に割り当てる際にエージェントのインセンティブをどのように考慮すべきかについては、ほとんど知られていない。
本論文では,ゲーム理論の概念に触発されて,フェデレーション学習におけるインセンティブ認識学習とデータ共有のためのフレームワークを提案する。
本研究は, 学習目標達成に関心のあるエージェントの存在下で, サンプル収集の負担を低く抑えながら, 協調の考え方を捉えたものである。
例えば、うらやましのない平衡では、いかなるエージェントもサンプリング負荷を他のエージェントと交換することを望んでおらず、安定した平衡では、サンプリング負荷を一方的に低減したいエージェントはいない。
この枠組みの形式化に加えて、我々の貢献には、そのような平衡の構造的性質を特徴づけ、その存在を証明し、どのように計算できるかを示すことが含まれる。
さらに、エージェントのインセンティブを無視した場合のインセンティブ認識コラボレーションのサンプル複雑さと最適なコラボレーションのサンプルを比較します。
関連論文リスト
- Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。
動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
論文 参考訳(メタデータ) (2024-03-11T09:21:11Z) - Cooperation Dynamics in Multi-Agent Systems: Exploring Game-Theoretic
Scenarios with Mean-Field Equilibria [0.0]
本稿では,ゲーム理論のシナリオ,すなわちIterated Prisoner's Dilemmaにおける協調を呼び起こす戦略について検討する。
既存の協調戦略は、繰り返しゲームにおけるグループ指向行動を促進する効果について分析する。
この研究は、指数関数的に増加するエージェント集団のシナリオにまで及んでいる。
論文 参考訳(メタデータ) (2023-09-28T08:57:01Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - Collaborative Learning via Prediction Consensus [38.89001892487472]
我々は,協力者の専門知識を活用して,各エージェントの目標が自身のモデルを改善するための協調学習環境を考える。
本研究では, 共分散ラベル付き補助データを利用した蒸留法を提案する。
我々は,協調方式が個々のモデルの性能を大幅に向上させることができることを実証的に実証した。
論文 参考訳(メタデータ) (2023-05-29T14:12:03Z) - Incentivizing Honesty among Competitors in Collaborative Learning and
Optimization [5.4619385369457225]
協調学習技術は、単一のエンティティのデータでトレーニングされたモデルよりも優れた機械学習モデルを可能にする可能性がある。
多くの場合、このような協調的なスキームの潜在的な参加者は、下流のタスクで競合する。
論文 参考訳(メタデータ) (2023-05-25T17:28:41Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳(メタデータ) (2023-03-24T15:12:28Z) - Adaptive Value Decomposition with Greedy Marginal Contribution
Computation for Cooperative Multi-Agent Reinforcement Learning [48.41925886860991]
現実世界の協力はしばしばエージェント間の集中的な調整を必要とする。
単調なユーティリティの単調混合として値関数を学習する従来の方法は、非単調なリターンでタスクを解くことはできない。
非単調な問題に対処するための新しい明示的な信用割当手法を提案する。
論文 参考訳(メタデータ) (2023-02-14T07:23:59Z) - Game-Theoretical Perspectives on Active Equilibria: A Preferred Solution
Concept over Nash Equilibria [61.093297204685264]
マルチエージェント強化学習における効果的なアプローチは,エージェントの学習プロセスを検討し,今後の政策に影響を与えることである。
この新たな解の概念は、ナッシュ均衡のような標準解の概念が活性平衡の特別な場合である、という一般的なものである。
我々は,ゲーム理論の観点から,ナッシュ平衡が知られている実例を綿密に研究することにより,アクティブ平衡を解析する。
論文 参考訳(メタデータ) (2022-10-28T14:45:39Z) - DM$^2$: Distributed Multi-Agent Reinforcement Learning for Distribution
Matching [43.58408474941208]
本稿では,明示的なコーディネーション方式を使わずに,分散マルチエージェント学習の課題を考察する。
各エージェントは、共同専門家ポリシーから同時にサンプリングされた軌道の目標分布と一致する。
StarCraftドメインでの実験的検証は、分散の報酬と環境の報酬を組み合わせることで、エージェントが完全に分散されたベースラインより優れたパフォーマンスを発揮することを示している。
論文 参考訳(メタデータ) (2022-06-01T04:57:50Z) - Cooperation and Reputation Dynamics with Reinforcement Learning [6.219565750197311]
私達は信頼および協同を確立する方法として評判がいかに使用されるか示します。
好ましくない平衡への収束を緩和する2つのメカニズムを提案する。
この結果が進化ゲーム理論の文献とどのように関係しているかを示す。
論文 参考訳(メタデータ) (2021-02-15T12:48:56Z) - On Information Asymmetry in Competitive Multi-Agent Reinforcement
Learning: Convergence and Optimality [78.76529463321374]
協調的でない2つのQ-ラーニングエージェントの相互作用システムについて検討する。
この情報非対称性は、集団学習の安定した結果をもたらす可能性があることを示す。
論文 参考訳(メタデータ) (2020-10-21T11:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。