論文の概要: FedSQ: Optimized Weight Averaging via Fixed Gating

• arxiv url: http://arxiv.org/abs/2604.02990v1
• Date: Fri, 03 Apr 2026 11:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.465948
• Title: FedSQ: Optimized Weight Averaging via Fixed Gating
• Title（参考訳）: FedSQ:固定ゲーティングによる平均体重の最適化
• Authors: Cristian Pérez-Corral, Jose I. Mestre, Alberto Fernández-Hernández, Manuel F. Dolz, José Duato, Enrique S. Quintana-Ortí,
• Abstract要約: フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。 本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。 ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
• 参考スコア（独自算出の注目度）: 1.2058208023553034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables collaborative training across organizations without sharing raw data, but it is hindered by statistical heterogeneity (non-i.i.d.\ client data) and by instability of naive weight averaging under client drift. In many cross-silo deployments, FL is warm-started from a strong pretrained backbone (e.g., ImageNet-1K) and then adapted to local domains. Motivated by recent evidence that ReLU-like gating regimes (structural knowledge) stabilize earlier than the remaining parameter values (quantitative knowledge), we propose FedSQ (Federated Structural-Quantitative learning), a transfer-initialized neural federated procedure based on a DualCopy, piecewise-linear view of deep networks. FedSQ freezes a structural copy of the pretrained model to induce fixed binary gating masks during federated fine-tuning, while only a quantitative copy is optimized locally and aggregated across rounds. Fixing the gating reduces learning to within-regime affine refinements, which stabilizes aggregation under heterogeneous partitions. Experiments on two convolutional neural network backbones under i.i.d.\ and Dirichlet splits show that FedSQ improves robustness and can reduce rounds-to-best validation performance relative to standard baselines while preserving accuracy in the transfer setting.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを共有せずに組織間の協調トレーニングを可能にするが、統計的不均一性(非i.d.\クライアントデータ)や、クライアントのドリフト下でのネイブウェイト平均化の不安定さによって妨げられる。 多くのクロスサイロデプロイメントでは、FLは、トレーニング済みの強いバックボーン(例えば、ImageNet-1K)からウォームスタートし、その後、ローカルドメインに適合する。 ReLUのようなゲーティングレジーム(構造知識)が残りのパラメータ値(定量的知識)よりも早く安定化しているという最近の証拠に触発されて、我々は、ディープ・ネットワークの断片的線形ビューに基づく転送初期化ニューラル・フェデレーション・プロシージャであるFedSQ(Federated Structure-Quantitative Learning)を提案する。 FedSQは、事前訓練されたモデルの構造的コピーを凍結し、フェデレートされた微調整中に固定されたバイナリゲーティングマスクを誘導する。 ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。 i.d.\ と Dirichlet の2つの畳み込みニューラルネットワークバックボーンの実験により、FedSQ はロバスト性を改善し、転送設定の精度を維持しながら標準ベースラインに対するラウンド・ツー・ベストの検証性能を低減できることが示された。

関連論文リスト

• Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data [12.4809003470908]
  FCOは非平滑化器を扱う際に通信効率と堅牢性を達成する。 Fed Composite Error FeedbackCEFは非効率的な量子収束のための新しいアルゴリズムである。 非IIDデータからアグレッシブ化やノイズを緩和する。
  論文  参考訳（メタデータ） (2026-03-08T14:37:16Z)
• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• FedSparQ: Adaptive Sparse Quantization with Error Feedback for Robust & Efficient Federated Learning [7.461859467262201]
  フェデレートラーニング(FL)は、分散クライアント間の協調モデルトレーニングを可能にする。 FLは、制約されたネットワーク上での高次元モデル更新の頻繁な交換による通信オーバーヘッドに悩まされる。 本稿では,各クライアントの勾配を動的に分散する軽量圧縮フレームワークであるFedSparQを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T12:38:08Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• SPIRE: Conditional Personalization for Federated Diffusion Generative Models [7.8583640700306585]
  Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
  論文  参考訳（メタデータ） (2025-06-14T01:40:31Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout [14.72932631655587]
  フェデレートラーニング(FL)は、エンドユーザーデータ伝送なしで分散機械学習パラダイムとして現れる。 FedBIADは、非独立およびIdentically Distributed(非IID)データであっても、最大2.41%の精度で2倍のアップリンク削減を提供する。
  論文  参考訳（メタデータ） (2023-07-14T05:51:04Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。