論文の概要: Federated Learning on Adaptively Weighted Nodes by Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2207.10751v1
- Date: Thu, 21 Jul 2022 20:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-25 13:27:48.635398
- Title: Federated Learning on Adaptively Weighted Nodes by Bilevel Optimization
- Title（参考訳）: 二レベル最適化による適応重み付けノードのフェデレーション学習
- Authors: Yankun Huang, Qihang Lin, Nick Street, Stephen Baek
- Abstract要約: コミュニケーション効率の高いフェデレーション最適化アルゴリズムは、この二段階最適化問題を解決するために設計されている。
本研究では,提案手法が局所的にのみモデルを訓練するよりも理論的に優れている場合,出力モデルの一般化性能を分析し,シナリオを特定する。
- 参考スコア（独自算出の注目度）: 10.363209083073967
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a federated learning method with weighted nodes in which the
weights can be modified to optimize the model's performance on a separate
validation set. The problem is formulated as a bilevel optimization where the
inner problem is a federated learning problem with weighted nodes and the outer
problem focuses on optimizing the weights based on the validation performance
of the model returned from the inner problem. A communication-efficient
federated optimization algorithm is designed to solve this bilevel optimization
problem. Under an error-bound assumption, we analyze the generalization
performance of the output model and identify scenarios when our method is in
theory superior to training a model only locally and to federated learning with
static and evenly distributed weights.
- Abstract（参考訳）: そこで本研究では,重み付けノードを用いた重み付け学習法を提案する。
内問題は重み付きノードによるフェデレート学習問題であり、外問題は内問題から返されるモデルの検証性能に基づいて重み付けを最適化することに集中する二段階最適化として定式化される。
この2レベル最適化問題を解決するために,通信効率のよいフェデレーション最適化アルゴリズムが設計されている。
誤差バウンドの仮定では、出力モデルの一般化性能を分析し、理論上、モデルを局所的にトレーニングし、静的で均等に分散した重み付けでフェデレーション学習するよりも優れた場合のシナリオを特定する。
関連論文リスト
- Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-07T19:52:14Z) - Instance-Conditioned Adaptation for Large-scale Generalization of Neural Combinatorial Optimization [15.842155380912002]
本研究は,ニューラル最適化の大規模一般化のための新しいインスタンス・コンディション適応モデル(ICAM)を提案する。
特に,NCOモデルのための強力なインスタンス条件付きルーティング適応モジュールを設計する。
我々は,ラベル付き最適解を使わずに,モデルがクロススケールな特徴を学習することのできる,効率的な3段階強化学習ベーストレーニング手法を開発した。
論文 参考訳（メタデータ） (2024-05-03T08:00:19Z) - Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳（メタデータ） (2024-03-06T04:43:22Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。
この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。
両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-06-14T10:36:25Z) - Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。
特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
論文 参考訳（メタデータ） (2021-03-01T04:58:27Z) - Meta-learning based Alternating Minimization Algorithm for Non-convex
Optimization [9.774392581946108]
複数変数の非プロブレムに挑戦する新しい解を提案する。
提案手法では,他の手法が一般的に失敗するケースに対して,効果的なイテレーションを実現することができる。
論文 参考訳（メタデータ） (2020-09-09T10:45:00Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using
Decomposition and Attention Model for Multiobjective Optimization [15.235261981563523]
本稿では,多目的最適化問題を解くための多目的深部強化学習法を提案する。
本手法では,各サブプロブレムをアテンションモデルにより解き,入力ノードの構造的特徴とノード的特徴を活用できる。
論文 参考訳（メタデータ） (2020-02-13T12:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。