論文の概要: Single-Round Scalable Analytic Federated Learning
- arxiv url: http://arxiv.org/abs/2512.03336v1
- Date: Wed, 03 Dec 2025 01:00:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-04 12:14:40.081934
- Title: Single-Round Scalable Analytic Federated Learning
- Title(参考訳): シングルロードスケーラブル分析フェデレーションラーニング
- Authors: Alan T. L. Bacellar, Mustafa Munir, Felipe M. G. França, Priscila M. V. Lima, Radu Marculescu, Lizy K. John,
- Abstract要約: SAFLeは、バケット機能と疎結合なグループ埋め込みの構造化ヘッドを導入することで、スケーラブルな非線形表現を実現するフレームワークである。
この非線形アーキテクチャは数学的に高次元線形回帰と等価であることを示す。
実験的に、SAFLeは解析FLのための新しい最先端技術を確立し、全てのベンチマークで線形AFLとマルチラウンドDeepAFLの精度を著しく上回っている。
- 参考スコア(独自算出の注目度): 20.7218411245201
- License:
- Abstract: Federated Learning (FL) is plagued by two key challenges: high communication overhead and performance collapse on heterogeneous (non-IID) data. Analytic FL (AFL) provides a single-round, data distribution invariant solution, but is limited to linear models. Subsequent non-linear approaches, like DeepAFL, regain accuracy but sacrifice the single-round benefit. In this work, we break this trade-off. We propose SAFLe, a framework that achieves scalable non-linear expressivity by introducing a structured head of bucketed features and sparse, grouped embeddings. We prove this non-linear architecture is mathematically equivalent to a high-dimensional linear regression. This key equivalence allows SAFLe to be solved with AFL's single-shot, invariant aggregation law. Empirically, SAFLe establishes a new state-of-the-art for analytic FL, significantly outperforming both linear AFL and multi-round DeepAFL in accuracy across all benchmarks, demonstrating a highly efficient and scalable solution for federated vision.
- Abstract(参考訳): フェデレートラーニング(FL)は、高い通信オーバーヘッドと不均一な(非IID)データのパフォーマンスの崩壊という、2つの大きな課題に悩まされている。
解析FL (AFL) は1ラウンドのデータ分散不変解を提供するが、線形モデルに限定される。
その後のDeepAFLのような非線形アプローチは精度を回復するが、シングルラウンドのメリットを犠牲にする。
この作業では、このトレードオフを断ち切る。
SAFLeは、バケット機能と疎結合なグループ埋め込みの構造化ヘッドを導入することにより、スケーラブルな非線形表現を実現するフレームワークである。
この非線形アーキテクチャは数学的に高次元線形回帰と等価であることを示す。
この重要な等価性により、SAFLe は AFL の単発不変集約法で解ける。
実験的に、SAFLeは解析FLのための新しい最先端技術を確立し、全てのベンチマークで線形AFLとマルチラウンドDeepAFLの精度を著しく上回り、フェデレートされたビジョンのための高効率でスケーラブルなソリューションを実証している。
関連論文リスト
- Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis [7.303912285452846]
本研究では,周辺次元の対数的にのみ(線形ではなく)通信コストが保証される,特定のスケッチ適応型連邦学習(SAFL)アルゴリズムを提案する。
我々の理論的主張は、視覚と言語タスクに関する実証的研究と、微調整とスクラッチからのトレーニングの両方で支持されている。
驚いたことに,提案手法は,誤りフィードバックに基づく,最先端のコミュニケーション効率の高いフェデレーション学習アルゴリズムと競合する。
論文 参考訳(メタデータ) (2024-11-11T07:51:22Z) - AFL: A Single-Round Analytic Approach for Federated Learning with Pre-trained Models [34.15482252496494]
本稿では,分析フェデレーション学習(AFL)を導入し,事前学習モデルを用いた解析的(クローズドフォーム)な解をフェデレーション学習(FL)に導入する。
私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。
論文 参考訳(メタデータ) (2024-05-25T13:58:38Z) - Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。
本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
論文 参考訳(メタデータ) (2024-03-20T08:15:08Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳(メタデータ) (2023-08-16T11:22:36Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳(メタデータ) (2021-05-17T17:22:07Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。