論文の概要: Adaptive collaboration for online personalized distributed learning with heterogeneous clients

• arxiv url: http://arxiv.org/abs/2507.06844v1
• Date: Wed, 09 Jul 2025 13:44:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.601456
• Title: Adaptive collaboration for online personalized distributed learning with heterogeneous clients
• Title（参考訳）: 異種クライアントによるオンラインパーソナライズされた分散学習のための適応的コラボレーション
• Authors: Constantin Philippenko, Batiste Le Bars, Kevin Scaman, Laurent Massoulié,
• Abstract要約: ローカルトレーニングを加速するために, 統計的に異種なクライアントが協力して, オンラインパーソナライズ学習の課題をN$で検討した。 この設定における重要な課題は、導入したバイアスを緩和しながら分散を減らすために、関連する協力者を選択することである。
• 参考スコア（独自算出の注目度）: 22.507916490976044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of online personalized decentralized learning with $N$ statistically heterogeneous clients collaborating to accelerate local training. An important challenge in this setting is to select relevant collaborators to reduce gradient variance while mitigating the introduced bias. To tackle this, we introduce a gradient-based collaboration criterion, allowing each client to dynamically select peers with similar gradients during the optimization process. Our criterion is motivated by a refined and more general theoretical analysis of the All-for-one algorithm, proved to be optimal in Even et al. (2022) for an oracle collaboration scheme. We derive excess loss upper-bounds for smooth objective functions, being either strongly convex, non-convex, or satisfying the Polyak-Lojasiewicz condition; our analysis reveals that the algorithm acts as a variance reduction method where the speed-up depends on a sufficient variance. We put forward two collaboration methods instantiating the proposed general schema; and we show that one variant preserves the optimality of All-for-one. We validate our results with experiments on synthetic and real datasets.
• Abstract（参考訳）: ローカルトレーニングを加速するために,統計的に異種なクライアントによるオンライン個別分散学習の課題について検討した。 この設定における重要な課題は、導入したバイアスを緩和しながら勾配のばらつきを減らすために、関連する協力者を選択することである。 これを解決するために、最適化プロセス中に各クライアントが同様の勾配を持つピアを動的に選択できるグラデーションベースの協調基準を導入する。 我々の基準は、オール・フォー・ワン・アルゴリズムの洗練されより一般的な理論的解析によって動機付けられ、2022年のE even et al において、オラクルの協調スキームに最適であることが証明された。 我々は、滑らかな目的関数に対する過剰な損失上界を導出し、強い凸、非凸、あるいはポリアック・ロジャシエヴィチ条件を満たす。 提案する汎用スキーマをインスタンス化する2つの協調手法を提案し,その1つの変種がAll-for-oneの最適性を保っていることを示す。 合成および実データを用いた実験により実験結果を検証した。

関連論文リスト

• Sociodynamics-inspired Adaptive Coalition and Client Selection in Federated Learning [39.58317527488534]
  本稿では,時間的ソーシャルネットワーク上での意見ダイナミクスに着想を得た分散推論アルゴリズムであるショートネーム(Federated Coalition Variance Reduction with Boltzmann Exploration)を紹介する。 実験により、不均一なシナリオでは、我々のアルゴリズムは既存のFLアルゴリズムより優れており、より正確な結果とより高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-03T14:04:31Z)
• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Provably Personalized and Robust Federated Learning [47.50663360022456]
  類似したクライアントのクラスタを識別し、パーソナライズされたモデルパークラスタを訓練する簡単なアルゴリズムを提案する。 アルゴリズムの収束率は、クライアントの真の基盤となるクラスタリングを知っていれば得られるものと一致します。
  論文  参考訳（メタデータ） (2023-06-14T09:37:39Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Fair and Consistent Federated Learning [48.19977689926562]
  フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。 本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-19T01:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。