論文の概要: Quantized Rank Reduction: A Communications-Efficient Federated Learning Scheme for Network-Critical Applications
- arxiv url: http://arxiv.org/abs/2507.11183v1
- Date: Tue, 15 Jul 2025 10:37:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:03.080308
- Title: Quantized Rank Reduction: A Communications-Efficient Federated Learning Scheme for Network-Critical Applications
- Title(参考訳): 量子ランクの低減:ネットワーククリティカルなアプリケーションのためのコミュニケーション効率の良いフェデレーションラーニングスキーム
- Authors: Dimitrios Kritsiolis, Constantine Kotropoulos,
- Abstract要約: フェデレート・ラーニング(Federated Learning)とは、複数のデバイス(エージェント)が生データを交換することなく、協調的に共有モデルをトレーニングできる機械学習アプローチである。
このテクニックは、データをユーザデバイスにローカライズし、プライバシとセキュリティを確保すると同時に、各エージェントが自身のデータ上でモデルをトレーニングし、モデル更新のみを共有する。
エージェントと中央サーバ間のモデル更新の頻繁な交換のため、通信オーバーヘッドは重大な課題である。
ニューラルネットワーク勾配の低ランク近似と量子化を利用して,分散学習プロセスのネットワーク負荷を大幅に低減し,モデルへの影響を最小限に抑える通信効率のよいフェデレート学習手法を提案する。
- 参考スコア(独自算出の注目度): 1.8416014644193066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a machine learning approach that enables multiple devices (i.e., agents) to train a shared model cooperatively without exchanging raw data. This technique keeps data localized on user devices, ensuring privacy and security, while each agent trains the model on their own data and only shares model updates. The communication overhead is a significant challenge due to the frequent exchange of model updates between the agents and the central server. In this paper, we propose a communication-efficient federated learning scheme that utilizes low-rank approximation of neural network gradients and quantization to significantly reduce the network load of the decentralized learning process with minimal impact on the model's accuracy.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)とは、複数のデバイス(エージェント)が、生データを交換することなく、協調的に共有モデルをトレーニングできる機械学習アプローチである。
このテクニックは、データをユーザデバイスにローカライズし、プライバシとセキュリティを確保すると同時に、各エージェントが自身のデータ上でモデルをトレーニングし、モデル更新のみを共有する。
エージェントと中央サーバ間のモデル更新の頻繁な交換のため、通信オーバーヘッドは重大な課題である。
本稿では,ニューラルネットワーク勾配の低ランク近似と量子化を利用して,分散学習プロセスのネットワーク負荷を最小限に抑える通信効率の高いフェデレート学習手法を提案する。
関連論文リスト
- Optimizing Model Splitting and Device Task Assignment for Deceptive Signal Assisted Private Multi-hop Split Learning [58.620753467152376]
我々のモデルでは、複数のエッジデバイスが共同で協調訓練を行い、一部の盗聴者はデバイスからモデルとデータ情報を収集することを目的としている。
盗聴者がモデルやデータ情報を集めるのを防止するため、装置のサブセットは、偽装信号を送信することができる。
本稿では,本質的な好奇性モジュールとクロスアテンションを備えたアクター批判型深層強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-09T22:53:23Z) - An Adaptive Clustering Scheme for Client Selections in Communication-Efficient Federated Learning [3.683202928838613]
フェデレートラーニング(Federated Learning)は、新たな分散型ラーニングアーキテクチャである。
本稿では,クラスタ数を動的に調整し,最も理想的なグループ化結果を求めることを提案する。
トレーニングに参加するユーザ数を削減し、モデル性能に影響を与えることなく、通信コストを削減できる。
論文 参考訳(メタデータ) (2025-04-11T08:43:12Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳(メタデータ) (2024-01-25T14:49:15Z) - Learning-based adaption of robotic friction models [50.72489248401199]
我々は、可能な限り少ないデータを用いて、既存の摩擦モデルを新しいダイナミクスに適用するための新しいアプローチを導入する。
本手法はトレーニング中に外部負荷を伴うデータに依存しないため,外部トルクセンサは不要である。
論文 参考訳(メタデータ) (2023-10-25T14:50:15Z) - FedDCT: A Dynamic Cross-Tier Federated Learning Framework in Wireless Networks [5.914766366715661]
フェデレートラーニング(FL)は、ローカルデータを公開せずにデバイス全体でグローバルモデルをトレーニングする。
無線ネットワークにおけるリソースの不均一性と避けられないストラグラーは、FLトレーニングの効率と正確性に大きな影響を与えます。
動的クロスティアフェデレーション学習フレームワーク(FedDCT)を提案する。
論文 参考訳(メタデータ) (2023-07-10T08:54:07Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳(メタデータ) (2022-09-14T00:48:37Z) - Federated Two-stage Learning with Sign-based Voting [45.2715985913761]
フェデレートラーニング(Federated Learning)は、ローカルデバイスが共同で共有グローバルモデルをトレーニングする分散機械学習メカニズムである。
最近の大規模でより深い機械学習モデルもまた、連合した環境にそれらをデプロイする上でさらに困難を伴っている。
本稿では,デバイス上のカット層を用いて,原型的フェデレーション学習を増強する2段階学習フレームワークを設計する。
論文 参考訳(メタデータ) (2021-12-10T17:31:23Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2021-08-30T15:39:54Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳(メタデータ) (2021-02-08T19:14:21Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳(メタデータ) (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。