論文の概要: Collaborative Learning via Prediction Consensus
- arxiv url: http://arxiv.org/abs/2305.18497v1
- Date: Mon, 29 May 2023 14:12:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 20:04:44.330015
- Title: Collaborative Learning via Prediction Consensus
- Title(参考訳): 予測合意による協調学習
- Authors: Dongyang Fan, Celestine Mendler-D\"unner, Martin Jaggi
- Abstract要約: 我々は,協力者の専門知識を活用することで,各エージェントの目標が自身のモデルを改善するための協調学習環境を考える。
本研究では, 擬似ラベル付き無ラベル補助データを利用した蒸留法を提案する。
我々は,協調方式がグローバルな分布に関して,個々のモデルの性能を大幅に向上させることができることを実証した。
- 参考スコア(独自算出の注目度): 47.776052924275255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a collaborative learning setting where each agent's goal is to
improve their own model by leveraging the expertise of collaborators, in
addition to their own training data. To facilitate the exchange of expertise
among agents, we propose a distillation-based method leveraging unlabeled
auxiliary data, which is pseudo-labeled by the collective. Central to our
method is a trust weighting scheme which serves to adaptively weigh the
influence of each collaborator on the pseudo-labels until a consensus on how to
label the auxiliary data is reached. We demonstrate that our collaboration
scheme is able to significantly boost individual model's performance with
respect to the global distribution, compared to local training. At the same
time, the adaptive trust weights can effectively identify and mitigate the
negative impact of bad models on the collective. We find that our method is
particularly effective in the presence of heterogeneity among individual
agents, both in terms of training data as well as model architectures.
- Abstract(参考訳): 各エージェントの目標が,自身のトレーニングデータに加えて,協力者の専門知識を活用することによって,自身のモデルを改善することにある,協調学習環境を考える。
エージェント間の専門知識の交換を容易にするため,未ラベル付き補助データを利用した蒸留法を提案する。
提案手法の中心となる信頼重み付け方式は,補助データのラベル付け方法が合意に達するまで,各協力者の擬似ラベルへの影響を適応的に評価するものである。
本研究は,地域学習と比較して,各モデルのパフォーマンスをグローバル分布に対して著しく向上させることができることを実証する。
同時に、適応的信頼度は、悪いモデルが集団に与える影響を効果的に識別し軽減することができる。
本手法は,訓練データとモデルアーキテクチャの両方において,個々のエージェント間の不均一性の存在に特に有効であることがわかった。
関連論文リスト
- Federated Learning Can Find Friends That Are Beneficial [11.183904362096753]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Deep Unfolding-based Weighted Averaging for Federated Learning in
Heterogeneous Environments [11.023081396326507]
フェデレートラーニング(Federated Learning)は、複数のクライアントによるモデル更新と、中央サーバによるアップデートの集約を反復する、協調的なモデルトレーニング手法である。
そこで本研究では, パラメータ調整法として, 深部展開法(deep unfolding)を用いる。
提案手法は,実世界の現実的なタスクを遂行できるような事前学習モデルを用いて,大規模学習モデルを扱うことができる。
論文 参考訳(メタデータ) (2022-12-23T08:20:37Z) - Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
プライベートデータによる分散学習は、機械学習の中心的な問題である。
本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
論文 参考訳(メタデータ) (2022-11-28T21:01:43Z) - Unrolled Graph Learning for Multi-Agent Collaboration [37.239120967721156]
人間のコラボレーションにインスパイアされた分散マルチエージェント学習モデルを提案する。
エージェントは、適切なコラボレータを自律的に検出し、より良いパフォーマンスを得るためにコラボレータのモデルを参照することができる。
論文 参考訳(メタデータ) (2022-10-31T07:05:44Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T21:17:02Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Self-Supervised Relational Reasoning for Representation Learning [5.076419064097733]
自己教師型学習では、ラベルのないデータに対して代替ターゲットを定義することにより、代理目的を達成することを課題とする。
本稿では,学習者が無ラベルデータに暗黙的な情報から信号をブートストラップできる,新たな自己教師型関係推論法を提案する。
提案手法は,標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って評価する。
論文 参考訳(メタデータ) (2020-06-10T14:24:25Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳(メタデータ) (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。