論文の概要: FedFwd: Federated Learning without Backpropagation

• arxiv url: http://arxiv.org/abs/2309.01150v1
• Date: Sun, 3 Sep 2023 11:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 21:13:04.635739
• Title: FedFwd: Federated Learning without Backpropagation
• Title（参考訳）: FedFwd: バックプロパゲーションなしのフェデレーション学習
• Authors: Seonghwan Park, Dahun Shin, Jinseok Chung, Namhoon Lee
• Abstract要約: FL(Federated Learning)では、限られたリソースを持つクライアントがトレーニング効率を損なう可能性がある。 本稿では,Hinton (2022)による最近のBPフリー手法であるFedFwd(FedFwd)を局所的なトレーニングプロセスにおいて適用したFLに対する新しいアプローチを提案する。 我々は,MNISTやCIFAR-10などの標準データセット上でFedFwdを評価するための様々な実験を行い,他のBP依存FL法と競合して動作することを示す。
• 参考スコア（独自算出の注目度）: 6.525661231913923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), clients with limited resources can disrupt the training efficiency. A potential solution to this problem is to leverage a new learning procedure that does not rely on backpropagation (BP). We present a novel approach to FL called FedFwd that employs a recent BP-free method by Hinton (2022), namely the Forward Forward algorithm, in the local training process. FedFwd can reduce a significant amount of computations for updating parameters by performing layer-wise local updates, and therefore, there is no need to store all intermediate activation values during training. We conduct various experiments to evaluate FedFwd on standard datasets including MNIST and CIFAR-10, and show that it works competitively to other BP-dependent FL methods.
• Abstract（参考訳）: フェデレーション学習(fl)では、限られたリソースを持つクライアントがトレーニング効率を損なう可能性がある。 この問題の潜在的な解決策は、バックプロパゲーション(BP)に依存しない新しい学習手順を活用することである。 本稿では,Hinton (2022)による最近のBPフリー手法であるFedFwd(FedFwd)を局所的なトレーニングプロセスにおいて適用したFLに対する新しいアプローチを提案する。 fedfwdは、レイヤ毎のローカル更新を行うことで、パラメータ更新のためのかなりの計算量を削減することができるため、トレーニング中にすべての中間アクティベーション値を格納する必要はない。 我々は,MNISTやCIFAR-10などの標準データセット上でFedFwdを評価するための様々な実験を行い,他のBP依存FL法と競合して動作することを示す。

関連論文リスト

• Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation [8.683798989767771]
  最近の知見は、ディープスパイキングニューラルネットワーク(SNN)のトレーニングにおいて、レートコーディングが代理段階に基づくバックプロパゲーション・アット・タイム(BPTT)によって取得される情報表現の第一形態であることを明らかにしている。 本稿では、BPTTの複雑さを軽減するために、レートベースの表現を活用するために特別に設計されたトレーニング戦略である、レートベースのバックプロパゲーションを提案する。 提案手法は,SNNの学習におけるメモリと計算要求を減らすために,計算グラフの合理化を図り,平均的ダイナミクスに焦点をあてることで,詳細な時間微分への依存を最小限に抑える。
  論文  参考訳（メタデータ） (2024-10-15T10:46:03Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Data Valuation and Detections in Federated Learning [4.899818550820576]
  フェデレートラーニング(FL)は、生データのプライバシーを維持しながら協調的なモデルトレーニングを可能にする。 このフレームワークの課題は、データの公平かつ効率的な評価であり、FLタスクで高品質なデータを提供するためにクライアントにインセンティブを与えるのに不可欠である。 本稿では,FLタスクにおける事前学習アルゴリズムを使わずに,クライアントのコントリビューションを評価し,関連するデータセットを選択するための新たなプライバシ保護手法を提案する。
  論文  参考訳（メタデータ） (2023-11-09T12:01:32Z)
• FedVal: Different good or different bad in federated learning [9.558549875692808]
  フェデレート・ラーニング(FL)システムは悪意のあるアクターからの攻撃を受けやすい。 FLは、異なる人口集団の公正なパフォーマンスを保証するなど、グループの偏見に対処する上で、新たな課題を提起する。 このようなバイアスに対処するために使用される従来の方法は、FLシステムが持っていないデータへの集中的なアクセスを必要とする。 我々は、クライアントからの追加情報を必要としない堅牢性と公正性の両方に対して、新しいアプローチであるFedValを提案する。
  論文  参考訳（メタデータ） (2023-06-06T22:11:13Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Addressing Class Imbalance in Federated Learning [10.970632986559547]
  Federated Learning(FL)は、ローカルクライアントデバイス上の分散データをトレーニングするための有望なアプローチである。 本研究では,FLラウンド毎のトレーニングデータの組成を推定し,その影響を軽減するために新しい損失関数 textbfRatio Loss を設計する。
  論文  参考訳（メタデータ） (2020-08-14T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。