論文の概要: Federated Learning With L0 Constraint Via Probabilistic Gates For Sparsity

• arxiv url: http://arxiv.org/abs/2512.23071v1
• Date: Sun, 28 Dec 2025 20:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.352233
• Title: Federated Learning With L0 Constraint Via Probabilistic Gates For Sparsity
• Title（参考訳）: L0制約によるフェデレーション学習は、スパリティのための確率的ゲートである
• Authors: Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell,
• Abstract要約: LearningNIST(FL)は、複数のクライアントがデータのプライバシを維持しながらモデルのトレーニングに協力する必要がある分散機械学習設定である。 データとモデルの本質的にの疎さは、過度に密集したモデルと、データとクライアントの参加の下での一般化性の低下をもたらすことが多い。 非ゼロパラメータの密度に対するL0制約付きFLを提案し、確率ゲートを用いた革命と連続緩和により達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a distributed machine learning setting that requires multiple clients to collaborate on training a model while maintaining data privacy. The unaddressed inherent sparsity in data and models often results in overly dense models and poor generalizability under data and client participation heterogeneity. We propose FL with an L0 constraint on the density of non-zero parameters, achieved through a reparameterization using probabilistic gates and their continuous relaxation: originally proposed for sparsity in centralized machine learning. We show that the objective for L0 constrained stochastic minimization naturally arises from an entropy maximization problem of the stochastic gates and propose an algorithm based on federated stochastic gradient descent for distributed learning. We demonstrate that the target density (rho) of parameters can be achieved in FL, under data and client participation heterogeneity, with minimal loss in statistical performance for linear and non-linear models: Linear regression (LR), Logistic regression (LG), Softmax multi-class classification (MC), Multi-label classification with logistic units (MLC), Convolution Neural Network (CNN) for multi-class classification (MC). We compare the results with a magnitude pruning-based thresholding algorithm for sparsity in FL. Experiments on synthetic data with target density down to rho = 0.05 and publicly available RCV1, MNIST, and EMNIST datasets with target density down to rho = 0.005 demonstrate that our approach is communication-efficient and consistently better in statistical performance.
• Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントがデータのプライバシを維持しながらモデルのトレーニングに協力する必要がある分散機械学習設定である。 データとモデルに固有の不規則さは、しばしば過度に密集したモデルと、データの下での一般化性の低下と、クライアントの参加の不均一性をもたらす。 本研究では,確率的ゲートを用いた再パラメータ化と連続緩和により達成される非ゼロパラメータの密度に対するL0制約付きFLを提案する。 確率ゲートのエントロピー最大化問題からL0制約確率最小化の目的が自然に生じることを示し、分散学習のためのフェデレート確率勾配勾配に基づくアルゴリズムを提案する。 線形回帰(LR)、ロジスティック回帰(LG)、ソフトマックスマルチクラス分類(MC)、ロジスティック単位を用いたマルチラベル分類(MLC)、マルチクラス分類(MC)のための畳み込みニューラルネットワーク(CNN)などである。 この結果とFLの間隔に対する等級プルーニングに基づくしきい値決定アルゴリズムを比較した。 RCV1, MNIST, EMNISTデータセットをrho = 0.05まで, ターゲット密度を0.005まで下げた合成データ実験により, 通信効率が向上し, 統計的性能が一貫した結果が得られた。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing [14.938531944702193]
  局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。 FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。 FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
  論文  参考訳（メタデータ） (2024-02-13T16:30:30Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning [4.710427287359642]
  Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合した、ディープラーニングのための分散モデルである。 FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。 本稿では,遺伝的クラスタ化FL(Genetic CFL)と呼ばれるハイブリッドアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-15T10:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。