論文の概要: Extra Clients at No Extra Cost: Overcome Data Heterogeneity in Federated Learning with Filter Decomposition

• arxiv url: http://arxiv.org/abs/2503.08652v1
• Date: Tue, 11 Mar 2025 17:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:55.237229
• Title: Extra Clients at No Extra Cost: Overcome Data Heterogeneity in Federated Learning with Filter Decomposition
• Title（参考訳）: 余分なコストでの外部クライアント:フィルタ分解によるフェデレーション学習におけるデータ不均一性
• Authors: Wei Chen, Qiang Qiu,
• Abstract要約: 本稿では,フェデレートラーニング(FL)における畳み込みフィルタをフィルタ部分空間要素の線形結合に分解する手法を提案する。 この単純な手法は、FLにおける大域的なフィルター凝集をフィルター原子とその原子係数に変換する。 ベンチマークデータセットにおける実験結果から,このフィルタ分解手法はFL法の精度を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 25.658632928800962
• License:
• Abstract: Data heterogeneity is one of the major challenges in federated learning (FL), which results in substantial client variance and slow convergence. In this study, we propose a novel solution: decomposing a convolutional filter in FL into a linear combination of filter subspace elements, i.e., filter atoms. This simple technique transforms global filter aggregation in FL into aggregating filter atoms and their atom coefficients. The key advantage here involves mathematically generating numerous cross-terms by expanding the product of two weighted sums from filter atom and atom coefficient. These cross-terms effectively emulate many additional latent clients, significantly reducing model variance, which is validated by our theoretical analysis and empirical observation. Furthermore, our method permits different training schemes for filter atoms and atom coefficients for highly adaptive model personalization and communication efficiency. Empirical results on benchmark datasets demonstrate that our filter decomposition technique substantially improves the accuracy of FL methods, confirming its efficacy in addressing data heterogeneity.
• Abstract（参考訳）: データの不均一性は、クライアントのばらつきと収束の遅さをもたらすフェデレートラーニング(FL)における大きな課題の1つである。 本研究では,FLにおける畳み込みフィルタをフィルタ部分空間要素,すなわちフィルタ原子の線形結合に分解する,新しい解を提案する。 この単純な手法は、FLにおける大域的なフィルター凝集をフィルター原子とその原子係数に変換する。 ここでの鍵となる利点は、フィルター原子と原子係数から重み付けされた2つの和の積を拡張することで、数学的に多くの断面積を生成することである。 これらのクロスタームは、多くの潜在クライアントを効果的にエミュレートし、モデル分散を著しく低減し、理論的解析と経験的観察によって検証される。 さらに,本手法は,高適応モデルパーソナライゼーションと通信効率向上のために,フィルタ原子と原子係数の異なるトレーニングスキームを許容する。 提案手法はFL法の精度を大幅に向上し,データの不均一性に対処する上での有効性を確認した。

関連論文リスト

• Adversarial Transform Particle Filters [11.330617592263744]
  粒子フィルタ(PF)とアンサンブルカルマンフィルタ(EnKF)は状態空間モデルにおける近似推論に広く用いられている。 本稿では, PF と EnKF の強みを組み合わせた新しいフィルタフレームワークである Adversarial Transform Particle Filter (ATPF) を提案する。
  論文  参考訳（メタデータ） (2025-02-10T05:31:35Z)
• Permutation Invariant Learning with High-Dimensional Particle Filters [8.878254892409005]
  深層モデルのシークエンシャルラーニングは、しばしば破滅的な忘れ物や可塑性の喪失といった課題に悩まされる。 本研究では,高次元粒子フィルタに基づく新しい置換不変学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-30T05:06:55Z)
• Large Convolutional Model Tuning via Filter Subspace [28.223665047553016]
  本稿では,空間のみの畳み込みの原因となるフィルタ原子のみを調整し,事前学習モデルの微調整を提案する。 このような単純なスキームは、識別的タスクと生成的タスクの両方において、以前のチューニングベースラインを超えていることが示される。
  論文  参考訳（メタデータ） (2024-03-01T04:16:08Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
  畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている 我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。 実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2023-04-26T09:18:38Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• FILTRA: Rethinking Steerable CNN by Filter Transform [59.412570807426135]
  操舵可能なCNNの問題は群表現論の側面から研究されている。 フィルタ変換によって構築されたカーネルは群表現論でも解釈可能であることを示す。 この解釈は、ステアブルCNN理論のパズルを完成させ、ステアブル畳み込み演算子を実装するための、新しく簡単なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-05-25T03:32:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。