論文の概要: Towards Model Agnostic Federated Learning Using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2110.15210v1
• Date: Thu, 28 Oct 2021 15:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 14:45:29.812985
• Title: Towards Model Agnostic Federated Learning Using Knowledge Distillation
• Title（参考訳）: 知識蒸留を用いたモデル非依存フェデレーション学習に向けて
• Authors: Andrei Afonin, Sai Praneeth Karimireddy
• Abstract要約: 本研究では,モデル非依存通信プロトコルの理論的研究を開始する。 我々は,2つのエージェントが異なるカーネルを用いてカーネルレグレッションを実行しようとする設定に焦点を当てる。 我々の研究は驚くべき結果をもたらします -- 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課します。
• 参考スコア（独自算出の注目度）: 9.947968358822951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An often unquestioned assumption underlying most current federated learning algorithms is that all the participants use identical model architectures. In this work, we initiate a theoretical study of model agnostic communication protocols which would allow data holders (agents) using different models to collaborate with each other and perform federated learning. We focus on the setting where the two agents are attempting to perform kernel regression using different kernels (and hence have different models). Our study yields a surprising result -- the most natural algorithm of using alternating knowledge distillation (AKD) imposes overly strong regularization and may lead to severe under-fitting. Our theory also shows an interesting connection between AKD and the alternating projection algorithm for finding intersection of sets. Leveraging this connection, we propose a new algorithms which improve upon AKD. Our theoretical predictions also closely match real world experiments using neural networks. Thus, our work proposes a rich yet tractable framework for analyzing and developing new practical model agnostic federated learning algorithms.
• Abstract（参考訳）: 現在のフェデレートされた学習アルゴリズムの根底にある、しばしば疑わしい仮定は、参加者全員が同じモデルアーキテクチャを使っていることである。 本研究では,データ保持者(エージェント)が異なるモデルを用いて相互に協調し,連携学習を行うことのできるモデル非依存通信プロトコルの理論的研究を開始する。 2つのエージェントが異なるカーネルを使用してカーネルレグレッションを実行しようとする(従って異なるモデルを持つ)設定に焦点を当てる。 我々の研究は驚くべき結果をもたらす ― 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課し、深刻な不適合につながる可能性がある。 また,AKDと交互プロジェクションアルゴリズムとの間には,集合の交叉を見つけるための興味深い関連性を示す。 この接続を利用して、AKDを改善する新しいアルゴリズムを提案する。 我々の理論予測はニューラルネットワークを用いた実世界の実験と密接に一致している。 そこで本研究では,新しいモデル非依存連関学習アルゴリズムを解析・開発するためのリッチで扱いやすいフレームワークを提案する。

関連論文リスト

• A Kernel Perspective on Distillation-based Collaborative Learning [8.971234046933349]
  統計的に異種環境において局所データやモデルを直接共有しない非パラメトリック協調学習アルゴリズムを提案する。 理論的結果から着想を得て,ニューラルネットワークアーキテクチャに基づく実用的蒸留に基づく協調学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:40:13Z)
• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• Algorithmic Collective Action in Machine Learning [35.91866986642348]
  機械学習アルゴリズムをデプロイするデジタルプラットフォーム上でのアルゴリズム集合行動について研究する。 本稿では,企業の学習アルゴリズムと相互作用する集合の単純な理論的モデルを提案する。 我々は,フリーランサーのためのギグプラットフォームから数万の履歴書を含むスキル分類タスクについて,体系的な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T18:55:49Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
  本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。 NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。 学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T02:53:31Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。