Fugu-MT 論文翻訳(概要): DeepAFL: Deep Analytic Federated Learning

論文の概要: DeepAFL: Deep Analytic Federated Learning

arxiv url: http://arxiv.org/abs/2603.00579v1
Date: Sat, 28 Feb 2026 09:58:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-03 19:50:56.274028
Title: DeepAFL: Deep Analytic Federated Learning
Title（参考訳）: DeepAFL: 深い分析的フェデレーション学習
Authors: Jianheng Tang, Yajiang Huang, Kejia Fan, Feijiang Han, Jiaxu Li, Jinfeng Xu, Run He, Anfeng Liu, Houbing Herbert Song, Huiping Zhuang, Yunhuai Liu,
Abstract要約: Federated Learning(FL)は、データサイロを分解する一般的な分散学習パラダイムである。従来のFLアプローチは、主に勾配ベースの更新に依存している。我々はDeepAFLという名前のDeep Analytic Federated Learningアプローチを提案する。
参考スコア（独自算出の注目度）: 32.19650212973813
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) is a popular distributed learning paradigm to break down data silo. Traditional FL approaches largely rely on gradient-based updates, facing significant issues about heterogeneity, scalability, convergence, and overhead, etc. Recently, some analytic-learning-based work has attempted to handle these issues by eliminating gradient-based updates via analytical (i.e., closed-form) solutions. Despite achieving superior invariance to data heterogeneity, these approaches are fundamentally limited by their single-layer linear model with a frozen pre-trained backbone. As a result, they can only achieve suboptimal performance due to their lack of representation learning capabilities. In this paper, to enable representable analytic models while preserving the ideal invariance to data heterogeneity for FL, we propose our Deep Analytic Federated Learning approach, named DeepAFL. Drawing inspiration from the great success of ResNet in gradient-based learning, we design gradient-free residual blocks in our DeepAFL with analytical solutions. We introduce an efficient layer-wise protocol for training our deep analytic models layer by layer in FL through least squares. Both theoretical analyses and empirical evaluations validate our DeepAFL's superior performance with its dual advantages in heterogeneity invariance and representation learning, outperforming state-of-the-art baselines by up to 5.68%-8.42% across three benchmark datasets.
Abstract（参考訳）: Federated Learning(FL)は、データサイロを分解する一般的な分散学習パラダイムである。従来のFLアプローチは主に勾配ベースの更新に依存しており、不均一性、スケーラビリティ、収束、オーバーヘッドなどに関する重大な問題に直面しています。近年、分析学習に基づくいくつかの研究は、解析的(クローズドフォーム)なソリューションによる勾配に基づく更新を排除し、これらの問題に対処しようと試みている。データの不均一性に優れた不変性を実現するにもかかわらず、これらのアプローチは、凍結した事前学習されたバックボーンを持つ単層線形モデルによって根本的に制限されている。その結果,表現学習能力の欠如により,準最適性能を達成できた。本稿では,FLデータの不均一性に対する理想的な不変性を保ちつつ,表現可能な解析モデルを実現するために,DeepAFLというDeep Analytic Federated Learningアプローチを提案する。勾配学習におけるResNetの大きな成功からインスピレーションを得て、我々はDeepAFLの勾配のない残留ブロックを解析解で設計する。 FLの層を最小二乗に分けて深層解析モデル層を学習するための効率的な層ワイズプロトコルを提案する。理論的解析と経験的評価の両方で、DeepAFLの優れた性能は、不均一性不変性と表現学習の2つのアドバンテージによって評価され、3つのベンチマークデータセットで5.68%-8.42%まで性能が向上した。

関連論文リスト

Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes [7.446140380340418]
Coreset選択は、完全なデータセットのパフォーマンスを近似する、小さな、代表的なデータのサブセットを特定することで、トレーニングを加速することを目的としている。勾配に基づく手法は、特に限られたデータ予算の下で、強力な理論的基盤と実用的な利益のために際立っている。本稿では、これらの制約に対処する新しいフレームワークを提案する。まず、後方サンプリングとロスランドスケープの接続を確立し、高データ破損シナリオにおいてもロバストなコアセット選択を可能にする。
論文参考訳（メタデータ） (2025-11-21T17:00:00Z)
Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks [30.766189455525765]
Unlearningは、訓練されたモデルから特定のデータを削除することを目的としており、プライバシーと倫理的懸念の高まりに対処している。本稿では, 単純で広く用いられる手法である勾配上昇の理論解析を行う。勾配上昇は、合成ガウス混合条件下での一般化を保ちながら、未学習を成功させることを示す。
論文参考訳（メタデータ） (2025-10-16T16:16:36Z)
Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文参考訳（メタデータ） (2025-10-16T03:37:16Z)
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文参考訳（メタデータ） (2025-01-24T20:39:38Z)
Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文参考訳（メタデータ） (2024-10-25T20:50:32Z)
R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文参考訳（メタデータ） (2024-06-06T16:28:04Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Analytically Tractable Bayesian Deep Q-Learning [0.0]
我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
論文参考訳（メタデータ） (2021-06-21T13:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。