Fugu-MT 論文翻訳(概要): Federated Automatic Differentiation

論文の概要: Federated Automatic Differentiation

arxiv url: http://arxiv.org/abs/2301.07806v1
Date: Wed, 18 Jan 2023 22:28:49 GMT
ステータス: 処理完了
システム内更新日: 2023-01-20 16:03:22.073772
Title: Federated Automatic Differentiation
Title（参考訳）: 連合型自動分化
Authors: Keith Rush, Zachary Charles, and Zachary Garrett
Abstract要約: フェデレートラーニング(FL)は、データのプライバシを保ちながら異種クライアント間で学習するための一般的なフレームワークである。本稿では,クライアントとサーバを対象とする関数の導関数の計算を可能にする,FAD(Federated Automatic differentiation)フレームワークを提案する。アルゴリズム自体のコンポーネントを動的に学習するアルゴリズムを作成するために、FADをどのように利用できるかを示す。
参考スコア（独自算出の注目度）: 3.441021278275805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a general framework for learning across heterogeneous clients while preserving data privacy, under the orchestration of a central server. FL methods often compute gradients of loss functions purely locally (ie. entirely at each client, or entirely at the server), typically using automatic differentiation (AD) techniques. We propose a federated automatic differentiation (FAD) framework that 1) enables computing derivatives of functions involving client and server computation as well as communication between them and 2) operates in a manner compatible with existing federated technology. In other words, FAD computes derivatives across communication boundaries. We show, in analogy with traditional AD, that FAD may be implemented using various accumulation modes, which introduce distinct computation-communication trade-offs and systems requirements. Further, we show that a broad class of federated computations is closed under these various modes of FAD, implying in particular that if the original computation can be implemented using privacy-preserving primitives, its derivative may be computed using only these same primitives. We then show how FAD can be used to create algorithms that dynamically learn components of the algorithm itself. In particular, we show that FedAvg-style algorithms can exhibit significantly improved performance by using FAD to adjust the server optimization step automatically, or by using FAD to learn weighting schemes for computing weighted averages across clients.
Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、中央サーバのオーケストレーションの下で異種クライアント間で学習するための一般的なフレームワークである。 FLメソッドは、損失関数の勾配を純粋に局所的に(例えば、各クライアントで完全に、またはサーバで完全に)計算することが多い。連合型自動微分(FAD)フレームワークを提案する。 1)クライアントとサーバ間の通信だけでなく、クライアントとサーバの計算を含む関数の計算デリバティブを可能にする。 2) 既存の連合技術と互換性のある運用を行う。言い換えれば、FADは通信境界を越えてデリバティブを計算する。従来のADと類似して、FADは様々な蓄積モードを用いて実装され、異なる計算通信トレードオフとシステム要件が導入された。さらに,これらのFADの様々なモードの下で,連合計算の幅広いクラスが閉じられていることを示し,特に,プライバシ保存プリミティブを用いて元の計算を実装できれば,その微分はこれらのプリミティブのみを用いて計算できることを示す。次に、FADを用いてアルゴリズム自体のコンポーネントを動的に学習するアルゴリズムを作成する方法を示す。特に、FedAvgスタイルのアルゴリズムは、FADを使用してサーバ最適化ステップを自動調整したり、FADを用いてクライアント間の重み付け平均計算の重み付けスキームを学習することで、性能を著しく向上させることができることを示す。

関連論文リスト

Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文参考訳（メタデータ） (2024-08-30T09:35:36Z)
Locally Adaptive Federated Learning [30.19411641685853]
フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-12T17:02:32Z)
Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文参考訳（メタデータ） (2023-02-20T16:26:29Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文参考訳（メタデータ） (2022-03-14T13:48:23Z)
Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文参考訳（メタデータ） (2022-02-17T02:01:37Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison [0.6299766708197883]
広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-19T19:43:28Z)
Fine-tuning is Fine in Federated Learning [3.222802562733787]
フレームワークにおけるフェデレーション学習アルゴリズムとその変種の性能について検討する。このマルチクレーターアプローチは、フェデレーション学習の高次元、多次元的な性質を自然にモデル化する。
論文参考訳（メタデータ） (2021-08-16T18:59:24Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。