論文の概要: Federated Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2011.02367v1
• Date: Wed, 4 Nov 2020 15:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 23:24:26.117108
• Title: Federated Knowledge Distillation
• Title（参考訳）: 連系知識蒸留
• Authors: Hyowoon Seo, Jihong Park, Seungeun Oh, Mehdi Bennis, Seong-Lyun Kim
• Abstract要約: フェデレート蒸留(Federated distillation, FD)は、一般的にモデルサイズよりも小さい次元のモデル出力のみを交換する分散学習ソリューションである。 この章は、コミュニケーション効率とさまざまなタスクへの適用性を実証しながら、FDの深い理解を提供する。 第2部では、分類タスクに対するFDのベースライン実装について詳述し、FLと比較して精度と通信効率の点でその性能を説明している。 第3部では、非対称なアップリンク・アンド・ダウンリンク無線チャネル上のFDと、強化学習のためのFDという2つの選択されたアプリケーションを提示している。
• 参考スコア（独自算出の注目度）: 42.87991207898215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning frameworks often rely on exchanging model parameters across workers, instead of revealing their raw data. A prime example is federated learning that exchanges the gradients or weights of each neural network model. Under limited communication resources, however, such a method becomes extremely costly particularly for modern deep neural networks having a huge number of model parameters. In this regard, federated distillation (FD) is a compelling distributed learning solution that only exchanges the model outputs whose dimensions are commonly much smaller than the model sizes (e.g., 10 labels in the MNIST dataset). The goal of this chapter is to provide a deep understanding of FD while demonstrating its communication efficiency and applicability to a variety of tasks. To this end, towards demystifying the operational principle of FD, the first part of this chapter provides a novel asymptotic analysis for two foundational algorithms of FD, namely knowledge distillation (KD) and co-distillation (CD), by exploiting the theory of neural tangent kernel (NTK). Next, the second part elaborates on a baseline implementation of FD for a classification task, and illustrates its performance in terms of accuracy and communication efficiency compared to FL. Lastly, to demonstrate the applicability of FD to various distributed learning tasks and environments, the third part presents two selected applications, namely FD over asymmetric uplink-and-downlink wireless channels and FD for reinforcement learning.
• Abstract（参考訳）: 分散学習フレームワークは、生データを公開するのではなく、ワーカー間でモデルパラメータの交換に依存することが多い。 一番の例は、各ニューラルネットワークモデルの勾配や重みを交換するフェデレーション学習である。 しかし、限られた通信資源の下では、モデルパラメータが膨大な現代のディープニューラルネットワークでは、そのような手法は非常にコストがかかる。 この点において、フェデレート蒸留(FD)は、一般的にモデルサイズ(MNISTデータセットの10ラベルなど)よりも小さい次元のモデル出力のみを交換する、魅力的な分散学習ソリューションである。 この章の目標は、コミュニケーション効率とさまざまなタスクへの適用性を実証しながら、FDの深い理解を提供することである。 この目的のために、この章の第1部では、神経接核(ntk)の理論を利用して、知識蒸留(kd)と共蒸留(cd)という2つのfdの基本アルゴリズムに対する新しい漸近分析を提供する。 次に、第2部では分類タスクにおけるfdのベースライン実装を詳述し、flと比較して精度と通信効率の観点からその性能を示す。 最後に,分散学習タスクと環境に対するfdの適用性を示すために,第3部では,非対称なアップリンク・アンド・ダウンリンク無線チャネル上のfdと強化学習のためのfdという2つの選択したアプリケーションを紹介する。

関連論文リスト

• Federated Distillation: A Survey [73.08661634882195]
  Federated Learning (FL)は、個々のクライアントからプライベートトレーニングデータを共有せずに、モデルを協調的にトレーニングすることを目指している。 FLへの知識蒸留の統合が提案され、Federated Distillation(FD)と呼ばれるものを形成する。 FDはクライアントとサーバ間のより柔軟な知識伝達を可能にし、単なるモデルパラメータの共有を超越します。
  論文  参考訳（メタデータ） (2024-04-02T03:42:18Z)
• Logits Poisoning Attack in Federated Distillation [8.728629314547248]
  FDLA(Federated Distillation, FD)を応用した中毒予防法について紹介する。 LPAがクライアントモデルの精度を効果的に損なうことを実証し、この点において確立されたベースラインアルゴリズムよりも優れていることを示す。 以上の結果から,FD設定における堅牢な防御機構の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-01-08T06:18:46Z)
• Convergence Visualizer of Decentralized Federated Distillation with Reduced Communication Costs [3.2098126952615442]
  フェデレートラーニング(FL)は、データ共有を必要とせずに協調学習を実現し、プライバシーの漏洩を防ぐ。 本研究では,CMFD の未解決課題として,(1) 通信コストの削減と(2) モデル収束の可視化の2つを解決した。
  論文  参考訳（メタデータ） (2023-12-19T07:23:49Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• A Generalizable Model-and-Data Driven Approach for Open-Set RFF Authentication [74.63333951647581]
  高周波指紋(RFF)は、低コストな物理層認証を実現するための有望な解決策である。 RFF抽出と識別のために機械学習に基づく手法が提案されている。 生受信信号からRFFを抽出するエンド・ツー・エンドのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-10T03:59:37Z)
• A Physics-Informed Deep Learning Paradigm for Traffic State Estimation and Fundamental Diagram Discovery [3.779860024918729]
  本稿では,基礎図形学習器(PIDL+FDL)を用いた物理インフォームド深層学習という,改良されたパラダイムに寄与する。 PIDL+FDLはML用語をモデル駆動コンポーネントに統合し、基本図(FD)の機能形式、すなわち交通密度から流れや速度へのマッピングを学ぶ。 PIDL+FDLを用いて、人気のある1次・2次トラフィックフローモデルの解法とFD関係の再構築を行う。
  論文  参考訳（メタデータ） (2021-06-06T14:54:32Z)
• Communication-Efficient Federated Distillation [14.10627556244287]
  コミュニケーションの制約は、フェデレートラーニングシステムが広く採用されるのを防ぐ大きな課題の1つです。 近年、フェデレート学習のための新しいアルゴリズムパラダイムであるフェデレート蒸留(FD)が出現している。 FD法は、未ラベルの公開データセット上でソフトラベルとして提示されるアンサンブル蒸留技術と交換モデル出力を利用する。
  論文  参考訳（メタデータ） (2020-12-01T16:57:25Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。