論文の概要: Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs

• arxiv url: http://arxiv.org/abs/2504.05245v1
• Date: Mon, 07 Apr 2025 16:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:10:16.530469
• Title: Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs
• Title（参考訳）: ダイナミックスパーストレーニングによる組込みフェデレーション特徴選択:精度とコストのトレードオフのバランス
• Authors: Afsaneh Mahanipour, Hana Khamfroush,
• Abstract要約: textitDynamic Sparse Federated Feature Selection (DSFFS)について述べる。 トレーニング中、入力層ニューロン、それらの接続、および隠れ層接続は動的に切断され、非形式的特徴を排除される。 生物学、画像、スピーチ、テキストを含む9つの実世界のデータセットで、いくつかの実験が実施されている。
• 参考スコア（独自算出の注目度）: 1.749521391198341
• License:
• Abstract: Federated Learning (FL) enables multiple resource-constrained edge devices with varying levels of heterogeneity to collaboratively train a global model. However, devices with limited capacity can create bottlenecks and slow down model convergence. One effective approach to addressing this issue is to use an efficient feature selection method, which reduces overall resource demands by minimizing communication and computation costs, thereby mitigating the impact of struggling nodes. Existing federated feature selection (FFS) methods are either considered as a separate step from FL or rely on a third party. These approaches increase computation and communication overhead, making them impractical for real-world high-dimensional datasets. To address this, we present \textit{Dynamic Sparse Federated Feature Selection} (DSFFS), the first innovative embedded FFS that is efficient in both communication and computation. In the proposed method, feature selection occurs simultaneously with model training. During training, input-layer neurons, their connections, and hidden-layer connections are dynamically pruned and regrown, eliminating uninformative features. This process enhances computational efficiency on devices, improves network communication efficiency, and boosts global model performance. Several experiments are conducted on nine real-world datasets of varying dimensionality from diverse domains, including biology, image, speech, and text. The results under a realistic non-iid data distribution setting show that our approach achieves a better trade-off between accuracy, computation, and communication costs by selecting more informative features compared to other state-of-the-art FFS methods.
• Abstract（参考訳）: Federated Learning (FL)は、さまざまなレベルの異種性を持つ複数のリソース制約されたエッジデバイスで、グローバルモデルを協調的にトレーニングすることを可能にする。 しかし、キャパシティに制限のあるデバイスはボトルネックを発生させ、モデルの収束を遅くすることができる。 この問題に対処するための効果的なアプローチの1つは、通信コストと計算コストを最小化し、苦労するノードの影響を軽減し、全体のリソース需要を削減する効率的な特徴選択手法を使用することである。 既存のFFS(Federated Feature selection)メソッドはFLとは別のステップと見なされるか、サードパーティに依存している。 これらのアプローチは計算と通信のオーバーヘッドを増大させ、現実世界の高次元データセットでは実用的ではない。 そこで本稿では,コミュニケーションと計算の両面で効率の良い,初の革新的な組込みFFSである \textit{Dynamic Sparse Federated Feature Selection} (DSFFS) を紹介する。 提案手法では,モデル学習と同時に特徴選択を行う。 トレーニング中、入力層ニューロン、それらの接続、および隠れ層接続は動的に切断され、非形式的特徴を排除される。 このプロセスはデバイス上での計算効率を高め、ネットワーク通信効率を改善し、グローバルモデルの性能を高める。 生物学、画像、音声、テキストなど、さまざまな領域から異なる次元の9つの実世界のデータセットに対して、いくつかの実験が行われた。 その結果,提案手法は,従来のFSF法と比較して,より情報性の高い特徴を選択することにより,精度,計算,通信コストのトレードオフを向上することを示す。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
  Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。 我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。 モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
  論文  参考訳（メタデータ） (2024-09-08T05:53:32Z)
• Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
  Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。 本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
  論文  参考訳（メタデータ） (2024-05-02T11:29:48Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Efficient Adaptive Federated Optimization of Federated Learning for IoT [0.0]
  本稿では、フェデレート学習(FL)の効率を改善するために、新しい適応型適応型最適化(EAFO)アルゴリズムを提案する。 FLは分散プライバシ保護学習フレームワークで、モデルパラメータを共有することで、IoTデバイスがグローバルモデルをトレーニングできる。 実験の結果,提案したEAFOはより高速に精度を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-06-23T01:49:12Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning [11.511755449420253]
  Federated Learning(FL)は、デバイス上のインテリジェンスを分散トレーニングとフェデレーション最適化を通じて実現する、新しい機械学習環境である。 本稿では,動的サンプリングによる通信効率向上のための2つのアプローチと,トップ$k選択マスキングを提案する。
  論文  参考訳（メタデータ） (2020-03-21T08:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。