論文の概要: Towards Model Agnostic Federated Learning Using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2110.15210v1
• Date: Thu, 28 Oct 2021 15:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 14:45:29.812985
• Title: Towards Model Agnostic Federated Learning Using Knowledge Distillation
• Title（参考訳）: 知識蒸留を用いたモデル非依存フェデレーション学習に向けて
• Authors: Andrei Afonin, Sai Praneeth Karimireddy
• Abstract要約: 本研究では,モデル非依存通信プロトコルの理論的研究を開始する。 我々は,2つのエージェントが異なるカーネルを用いてカーネルレグレッションを実行しようとする設定に焦点を当てる。 我々の研究は驚くべき結果をもたらします -- 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課します。
• 参考スコア（独自算出の注目度）: 9.947968358822951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An often unquestioned assumption underlying most current federated learning algorithms is that all the participants use identical model architectures. In this work, we initiate a theoretical study of model agnostic communication protocols which would allow data holders (agents) using different models to collaborate with each other and perform federated learning. We focus on the setting where the two agents are attempting to perform kernel regression using different kernels (and hence have different models). Our study yields a surprising result -- the most natural algorithm of using alternating knowledge distillation (AKD) imposes overly strong regularization and may lead to severe under-fitting. Our theory also shows an interesting connection between AKD and the alternating projection algorithm for finding intersection of sets. Leveraging this connection, we propose a new algorithms which improve upon AKD. Our theoretical predictions also closely match real world experiments using neural networks. Thus, our work proposes a rich yet tractable framework for analyzing and developing new practical model agnostic federated learning algorithms.
• Abstract（参考訳）: 現在のフェデレートされた学習アルゴリズムの根底にある、しばしば疑わしい仮定は、参加者全員が同じモデルアーキテクチャを使っていることである。 本研究では,データ保持者(エージェント)が異なるモデルを用いて相互に協調し,連携学習を行うことのできるモデル非依存通信プロトコルの理論的研究を開始する。 2つのエージェントが異なるカーネルを使用してカーネルレグレッションを実行しようとする(従って異なるモデルを持つ)設定に焦点を当てる。 我々の研究は驚くべき結果をもたらす ― 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課し、深刻な不適合につながる可能性がある。 また,AKDと交互プロジェクションアルゴリズムとの間には,集合の交叉を見つけるための興味深い関連性を示す。 この接続を利用して、AKDを改善する新しいアルゴリズムを提案する。 我々の理論予測はニューラルネットワークを用いた実世界の実験と密接に一致している。 そこで本研究では,新しいモデル非依存連関学習アルゴリズムを解析・開発するためのリッチで扱いやすいフレームワークを提案する。

関連論文リスト

• An MRP Formulation for Supervised Learning: Generalized Temporal Difference Learning Models [20.314426291330278]
  従来の統計的学習では、データポイントは独立して同じ分布(d)であると仮定される。 本稿では、データポイントを相互接続したものとして認識し、データモデリングにマルコフ報酬プロセス(MRP)を用いる、対照的な視点を示す。 我々は、強化学習(RL)における政治政策評価問題として、典型的教師付き学習を再構成し、一般化時間差学習アルゴリズム(TD)を解法として導入する。
  論文  参考訳（メタデータ） (2024-04-23T21:02:58Z)
• Towards a Systematic Approach to Design New Ensemble Learning Algorithms [0.0]
  本研究は,アンサンブルの誤り分解に関する基礎研究を再考する。 最近の進歩は「多様性の統一理論」を導入した 本研究は,新たなアンサンブル学習アルゴリズムの創出を導くために,この分解の応用を体系的に検討する。
  論文  参考訳（メタデータ） (2024-02-09T22:59:20Z)
• Algorithmic Collective Action in Machine Learning [28.748367295360115]
  機械学習アルゴリズムをデプロイするデジタルプラットフォーム上でのアルゴリズム集合行動について研究する。 本稿では,企業の学習アルゴリズムと相互作用する集合の単純な理論的モデルを提案する。 我々は,フリーランサーのためのギグプラットフォームから数万の履歴書を含むスキル分類タスクについて,体系的な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T18:55:49Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
  本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。 NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。 学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T02:53:31Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。