論文の概要: Federated Soft Poly-Level Learning Over a Distributed Network with Guaranteed Convergence
- arxiv url: http://arxiv.org/abs/2611.17722v1
- Date: Fri, 13 Nov 2026 04:05:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.300951
- Title: Federated Soft Poly-Level Learning Over a Distributed Network with Guaranteed Convergence
- Title(参考訳): 収束を保証した分散ネットワーク上でのソフトな多層学習
- Abstract要約: 分散ネットワーク上でのフェデレーション・ポリレベル学習フレームワークを提案する。
提案アルゴリズムは、その計算複雑性と性能効率の間の柔軟なトレードオフを可能にする調整可能なパラメータで設計されている。
- 参考スコア(独自算出の注目度): 24.75319493013841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-level learning/optimization, e.g., bilevel optimization, has been recognized for its versatile applicability across a broad array of domains, spanning from signal processing to machine learning. However, most existing works focus on bilevel and trilevel optimization. In contrast, multi-level optimization problems involving four or more hierarchical levels, which we term poly-level learning (PLL) problems, remain largely unexplored.In addition, in practical PLL, data may be distributed across multiple nodes over a distributed network. Nevertheless, extant studies on PLL predominantly focus on the non-federated setting, necessitating the collection of data to central servers and thereby posing potential privacy risks. To this end, we propose a Federated Poly-Level Learning (FPLL) framework over a distributed network to tackle the PLL problems with soft constraints in a federated manner. FPLL hinges on a novel non-linear cut, i.e., $L$-cut, for the level-wise relaxation to the PLL problems. Additionally, the proposed federated algorithm is designed with adjustable parameters that allow for a flexible trade-off between its computational complexity and performance efficiency, enabling users to tune it according to specific application requirements. We also carry out non-asymptotic analysis to derive the iteration complexity for the proposed FPLL to achieve the $ε$-Pareto stationary point. Extensive experiments have been undertaken to elucidate the superior efficacy of the proposed method.
- Abstract(参考訳): マルチレベル学習/最適化(例えば、バイレベル最適化)は、信号処理から機械学習まで、幅広い領域にわたって多用途に適用可能であることが認識されている。
しかし、既存のほとんどの研究は双レベル最適化と三レベル最適化に重点を置いている。
一方,多段階学習(Poly-level learning, PLL)問題と呼ばれる4段階以上の階層レベルの多段階最適化問題はほとんど未探索のままであり,実用的なPLLでは,データが分散ネットワーク上で複数のノードに分散される可能性がある。
それでも、PLLに関する既存の研究は、主にフェデレーションされていない設定に焦点を合わせ、中央サーバーへのデータの収集を必要とし、それによって潜在的なプライバシーリスクを生じさせる。
そこで本研究では,分散ネットワーク上でのFPLL(Federated Poly-Level Learning)フレームワークを提案する。
FPLLは、PLL問題に対するレベルワイド緩和のために、新しい非線形カット、すなわち$L$-cutにヒンジする。
さらに、提案するフェデレーションアルゴリズムは、その計算複雑性と性能効率の間の柔軟なトレードオフを可能にする調整可能なパラメータで設計されており、ユーザーは特定のアプリケーション要求に応じてそれを調整できる。
また,FPLL が$ε$-Pareto 定常点を達成するためには,FPLL の繰り返し複雑性を導出するため,非漸近解析を行う。
提案手法の優れた有効性を明らかにするため, 広範囲な実験が実施されている。
関連論文リスト
- Joint Optimization of Training and Inference in Federated Edge Learning via Constrained Multi-Objective Deep Reinforcement Learning [9.37821062000313]
エッジインテリジェンス(EI)を実現するための有望なパラダイムとしてFederated Edge Learning(FEEL)が登場した。
リソース制約のあるエッジデバイス上でのフェデレーショントレーニングと推論を共同で管理する,オンライン最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-25T14:51:07Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Optimizing Value of Learning in Task-Oriented Federated Meta-Learning Systems [10.332182237773818]
デバイス間の個別のトレーニングニーズを評価するために、新しいメトリック、学習のメトリック値(VoL)が導入された。
タスクレベルの重み(TLW)は、FMLトレーニングのタスクレベルの考慮と公平性に基づいて定義される。
論文 参考訳(メタデータ) (2025-01-07T00:30:31Z) - Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。
従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。
エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。
我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
論文 参考訳(メタデータ) (2024-09-29T01:48:04Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Learner Referral for Cost-Effective Federated Learning Over Hierarchical
IoT Networks [21.76836812021954]
本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。
提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
論文 参考訳(メタデータ) (2023-07-19T13:33:43Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳(メタデータ) (2022-06-14T13:12:12Z) - Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。
FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。
提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
論文 参考訳(メタデータ) (2022-06-11T16:21:17Z) - Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。
この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。
両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2021-06-14T10:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。