Fugu-MT 論文翻訳(概要): Intrinsic Training Signals for Federated Learning Aggregation

論文の概要: Intrinsic Training Signals for Federated Learning Aggregation

arxiv url: http://arxiv.org/abs/2507.06813v1
Date: Wed, 09 Jul 2025 13:03:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-10 17:37:43.589002
Title: Intrinsic Training Signals for Federated Learning Aggregation
Title（参考訳）: フェデレーション学習アグリゲーションのための固有の訓練信号
Authors: Cosimo Fiorini, Matteo Mosconi, Pietro Buzzega, Riccardo Salami, Simone Calderara,
Abstract要約: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。この研究は、既存のトレーニング信号だけで効果的なモデルマージが達成できることを実証している。
参考スコア（独自算出の注目度）: 10.532838477096055
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) enables collaborative model training across distributed clients while preserving data privacy. While existing approaches for aggregating client-specific classification heads and adapted backbone parameters require architectural modifications or loss function changes, our method uniquely leverages intrinsic training signals already available during standard optimization. We present LIVAR (Layer Importance and VARiance-based merging), which introduces: i) a variance-weighted classifier aggregation scheme using naturally emergent feature statistics, and ii) an explainability-driven LoRA merging technique based on SHAP analysis of existing update parameter patterns. Without any architectural overhead, LIVAR achieves state-of-the-art performance on multiple benchmarks while maintaining seamless integration with existing FL methods. This work demonstrates that effective model merging can be achieved solely through existing training signals, establishing a new paradigm for efficient federated model aggregation. The code will be made publicly available upon acceptance.
Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。クライアント固有の分類ヘッドと適応したバックボーンパラメータを集約する既存のアプローチでは、アーキテクチャの変更や損失関数の変更が必要となるが、本手法では、標準最適化時に既に利用可能な固有トレーニング信号が一意に活用されている。 LIVAR(Layer Importance and VARiance-based merging)を紹介する。一自然発生的特徴統計を用いた分散重み付け分類器集計方式及び二既存の更新パラメータパターンのSHAP分析に基づく説明可能性駆動型LoRAマージ手法。アーキテクチャ上のオーバーヘッドがないため、LIVARは既存のFLメソッドとのシームレスな統合を維持しながら、複数のベンチマークで最先端のパフォーマンスを達成する。この研究は、効果的なモデルマージが既存のトレーニング信号だけで達成できることを示し、効率的なフェデレーションモデルアグリゲーションのための新しいパラダイムを確立する。コードは受理時に公開されます。

関連論文リスト

NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
論文参考訳（メタデータ） (2025-05-22T02:46:08Z)
Efficient Federated Class-Incremental Learning of Pre-Trained Models via Task-agnostic Low-rank Residual Adaptation [22.454292668849035]
Fed-TaLoRA(Federated Task-Agnostic Low-rank Residual Adaptation) 我々は,最小限のオーバーヘッドで正確な知識統合を実現するための,新たな残量更新機構を開発した。我々の方法論的革新は,タスク非依存適応,ポストアグリゲーションモデル校正,LORAモジュールの戦略的配置の3つの主要な戦略に起因している。
論文参考訳（メタデータ） (2025-05-18T09:19:13Z)
Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
論文参考訳（メタデータ） (2024-09-02T19:28:35Z)
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。 $textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。 $textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
論文参考訳（メタデータ） (2024-02-05T19:02:19Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文参考訳（メタデータ） (2022-11-14T13:59:50Z)
Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文参考訳（メタデータ） (2022-05-22T16:37:53Z)
Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文参考訳（メタデータ） (2021-03-01T21:14:33Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。