論文の概要: An effective and efficient green federated learning method for one-layer
neural networks
- arxiv url: http://arxiv.org/abs/2312.14528v1
- Date: Fri, 22 Dec 2023 08:52:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 15:38:13.548650
- Title: An effective and efficient green federated learning method for one-layer
neural networks
- Title（参考訳）: 一層ニューラルネットワークのための効率的かつ効率的なグリーンフェデレーション学習法
- Authors: Oscar Fontenla-Romero, Bertha Guijarro-Berdi\~nas, Elena
Hern\'andez-Pereira, Beatriz P\'erez-S\'anchez
- Abstract要約: フェデレート・ラーニング(Federated Learning, FL)は、機械学習における最も活発な研究分野の一つである。
本研究では,1回のトレーニングラウンドでグローバルな協調モデルを生成可能な,隠れた層を持たないニューラルネットワークに基づくFL法を提案する。
本手法は同一および非同一の分散シナリオの両方において等しく機能することを示す。
- 参考スコア（独自算出の注目度）: 0.22499166814992436
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Nowadays, machine learning algorithms continue to grow in complexity and
require a substantial amount of computational resources and energy. For these
reasons, there is a growing awareness of the development of new green
algorithms and distributed AI can contribute to this. Federated learning (FL)
is one of the most active research lines in machine learning, as it allows the
training of collaborative models in a distributed way, an interesting option in
many real-world environments, such as the Internet of Things, allowing the use
of these models in edge computing devices. In this work, we present a FL
method, based on a neural network without hidden layers, capable of generating
a global collaborative model in a single training round, unlike traditional FL
methods that require multiple rounds for convergence. This allows obtaining an
effective and efficient model that simplifies the management of the training
process. Moreover, this method preserve data privacy by design, a crucial
aspect in current data protection regulations. We conducted experiments with
large datasets and a large number of federated clients. Despite being based on
a network model without hidden layers, it maintains in all cases competitive
accuracy results compared to more complex state-of-the-art machine learning
models. Furthermore, we show that the method performs equally well in both
identically and non-identically distributed scenarios. Finally, it is an
environmentally friendly algorithm as it allows significant energy savings
during the training process compared to its centralized counterpart.
- Abstract（参考訳）: 現在、機械学習アルゴリズムは複雑さを増し続けており、かなりの量の計算資源とエネルギーを必要としている。
これらの理由から、新しいグリーンアルゴリズムの開発に対する認識が高まっており、分散AIがこれに寄与することができる。
フェデレーション学習(federated learning, fl)は、分散的な方法で協調モデルのトレーニングを可能にするため、マシンラーニングで最も活発な研究分野の1つであり、iot(internet of things)など、多くの実環境において興味深い選択肢であり、エッジコンピューティングデバイスでこれらのモデルを使用することを可能にする。
本研究では,隠れレイヤのないニューラルネットワークに基づくfl法を提案する。従来のfl法とは異なり,単一のトレーニングラウンドでグローバルな協調モデルを生成することができる。
これにより、トレーニングプロセスの管理を簡単にする効率的で効率的なモデルを得ることができる。
さらに、この手法は、現在のデータ保護規制において重要な側面である、設計によるデータのプライバシを保持する。
大規模データセットと多数のフェデレーションクライアントを用いて実験を行った。
隠れたレイヤを持たないネットワークモデルに基づいているにもかかわらず、より複雑な最先端の機械学習モデルと比較して、あらゆるケースで競合する精度が維持される。
さらに,本手法は同一および非同一の分散シナリオでも等しく動作することを示す。
最後に、これは環境に優しいアルゴリズムであり、中央集権的なアルゴリズムに比べてトレーニングプロセス中にかなりの省エネを可能にする。
関連論文リスト
- ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices [22.664980594996155]
フェデレートラーニング(FL)は、複数のパーティ(分散デバイス)が生データを共有せずに機械学習モデルをトレーニングすることを可能にする。
本稿では,中央サーバにおける強力な計算能力を最大限に活用するために,効率的な分割フェデレーション学習アルゴリズム(ESFL)を提案する。
論文 参考訳（メタデータ） (2024-02-24T20:50:29Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳（メタデータ） (2022-06-03T02:21:01Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳（メタデータ） (2022-06-02T20:19:51Z) - Flexible Parallel Learning in Edge Scenarios: Communication,
Computational and Energy Cost [20.508003076947848]
FogとIoTベースのシナリオでは、両方のアプローチを組み合わせる必要があることが多い。
フレキシブル並列学習(FPL)のためのフレームワークを提案し,データとモデル並列性を両立させる。
我々の実験は、最先端のディープネットワークアーキテクチャと大規模データセットを用いて行われ、FPLが計算コスト、通信オーバーヘッド、学習性能に優れたトレードオフを実現することを確認した。
論文 参考訳（メタデータ） (2022-01-19T03:47:04Z) - Privacy-Preserving Serverless Edge Learning with Decentralized Small
Data [13.254530176359182]
最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。
本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
論文 参考訳（メタデータ） (2021-11-29T21:04:49Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network
Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。
相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。
我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文 参考訳（メタデータ） (2020-12-17T08:20:09Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T13:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。