論文の概要: Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning

• arxiv url: http://arxiv.org/abs/2607.00275v1
• Date: Tue, 30 Jun 2026 23:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.664337
• Title: Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning
• Title（参考訳）: Scarce-Data Federated Learningにおけるスパースモデル探索のためのエントロピー規則化確率ゲート
• Abstract要約: Federated Learning (FL) は分散機械学習(ML)パラダイムで、データを共有せずに複数のクライアント間で協調する。 本研究では,スパースフェデレーション最適化における不確実性を維持するメカニズムとして,ゲート分布のエントロピー正則化について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a distributed machine learning (ML) paradigm with collaboration among multiple clients without sharing data. FL is challenging under data heterogeneity and partial client participation. Learning sparse models is useful for communication and computational efficiency in FL, but it is especially difficult in the small-sample high-dimensional regime (d >> N) where optimization can yield parameter configurations that fail to generalize to unseen test data. While magnitude-based pruning doesn't account for uncertainty exploration in the parameter space, a formulation with probabilistic gates and an L0 constraint allows sampling from competing sparse configurations during training. In this work, we study entropy regularization of gate distributions as a mechanism to maintain uncertainty in sparse federated optimization by preventing early commitment to sparse support. We examine its impact under data heterogeneity, client participation heterogeneity, and sparsity. Experiments on synthetic and real-world benchmarks show consistent improvements over federated iterative hard thresholding (Fed-IHT) and pruning after dense federated averaging (FedAvg) training, both in statistical performance on test data and in sparsity recovery accuracy.
• Abstract（参考訳）: Federated Learning(FL)は、分散機械学習(ML)パラダイムで、データを共有せずに複数のクライアント間でコラボレーションする。 FLはデータの不均一性と部分的なクライアント参加の下で難しい。 スパースモデルの学習はFLにおける通信や計算効率に有用であるが,未確認テストデータへの一般化に失敗するパラメータ構成を最適化できる小サンプル高次元レジーム(d>>N)では特に困難である。 マグニチュードベースのプルーニングはパラメータ空間における不確実性探索を考慮しないが、確率ゲートとL0制約による定式化は、訓練中に競合するスパース構成からのサンプリングを可能にする。 本研究では,スパース支援への早期のコミットメントを防止し,スパースフェデレーション最適化における不確実性を維持するメカニズムとして,ゲート分布のエントロピー正則化について検討する。 データの不均一性、クライアント参加の不均一性、および疎性による影響について検討する。 Fed-IHT(Federated Iterative hard thresholding)とPruning(Fed-IHT)の併用により,FedAvg(Federated Averaging)トレーニング後の総合的および実世界のベンチマーク実験は,テストデータと空間的回復精度の両方において一貫した改善を示した。

関連論文リスト

• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Federated Learning With L0 Constraint Via Probabilistic Gates For Sparsity [0.0]
  LearningNIST(FL)は、複数のクライアントがデータのプライバシを維持しながらモデルのトレーニングに協力する必要がある分散機械学習設定である。 データとモデルの本質的にの疎さは、過度に密集したモデルと、データとクライアントの参加の下での一般化性の低下をもたらすことが多い。 非ゼロパラメータの密度に対するL0制約付きFLを提案し、確率ゲートを用いた革命と連続緩和により達成する。
  論文  参考訳（メタデータ） (2025-12-28T20:33:22Z)
• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Learnable Sparse Customization in Heterogeneous Edge Computing [27.201987866208484]
  異種フェデレート学習(FedLPS)のための学習可能なパーソナライズ・スパシフィケーションを提案する。 FedLPSは、局所データ表現におけるモデルユニットの重要性を学び、パーソナライズされたデータ特徴を正確に抽出するために、最小限の重要度に基づくスパースパターンを導出する。 実験により、FedLPSは精度とトレーニングコストにおいてステータスクオアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-10T06:14:31Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。