論文の概要: TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2207.06343v1
• Date: Wed, 13 Jul 2022 16:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 14:22:32.528514
• Title: TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
• Title（参考訳）: TCT:ブートストラップ型ニューラルタンジェントカーネルを用いたフェデレーション学習
• Authors: Yaodong Yu and Alexander Wei and Sai Praneeth Karimireddy and Yi Ma and Michael I. Jordan
• Abstract要約: 最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
• 参考スコア（独自算出の注目度）: 141.29156234353133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art federated learning methods can perform far worse than their centralized counterparts when clients have dissimilar data distributions. For neural networks, even when centralized SGD easily finds a solution that is simultaneously performant for all clients, current federated optimization methods fail to converge to a comparable solution. We show that this performance disparity can largely be attributed to optimization challenges presented by nonconvexity. Specifically, we find that the early layers of the network do learn useful features, but the final layers fail to make use of them. That is, federated optimization applied to this non-convex problem distorts the learning of the final layers. Leveraging this observation, we propose a Train-Convexify-Train (TCT) procedure to sidestep this issue: first, learn features using off-the-shelf methods (e.g., FedAvg); then, optimize a convexified problem obtained from the network's empirical neural tangent kernel approximation. Our technique yields accuracy improvements of up to +36% on FMNIST and +37% on CIFAR10 when clients have dissimilar data.
• Abstract（参考訳）: 最先端のフェデレーション学習手法は、クライアントが異なるデータ分布を持つ場合、集中型の学習方法よりもはるかにパフォーマンスが悪くなります。 ニューラルネットワークでは、集中型SGDがすべてのクライアントで同時に動作するソリューションを容易に見つけることができても、現在のフェデレーション最適化手法は同等のソリューションに収束しない。 この性能格差は,非凸性が提示する最適化課題に起因すると考えられる。 具体的には、ネットワークの初期層は有用な機能を学ぶが、最終層はそれらを利用することができない。 すなわち、この非凸問題に適用されたフェデレーション最適化は最終層の学習を歪ませる。 そこで本研究では、まず、オフ・ザ・シェルフ法(例えば、FedAvg)を用いて特徴を学習し、次に、ネットワークの経験的ニューラルネットワークカーネル近似から得られる凸化問題を最適化するTrain-Convexify-Train(TCT)手順を提案する。 この手法では,fmnistでは最大36%,cifar10では37%の精度向上を実現している。

関連論文リスト

• What to Do When Your Discrete Optimization Is the Size of a Neural Network? [24.546550334179486]
  ニューラルネットワークを用いた機械学習アプリケーションは、離散最適化問題を解くことを含む。 離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークに対してうまくスケールしない。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。
  論文  参考訳（メタデータ） (2024-02-15T21:57:43Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
  クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。 そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。 同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:56:35Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data [0.0]
  フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。 主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。 本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
  論文  参考訳（メタデータ） (2021-12-01T10:46:13Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
  本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。 提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。 また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
  論文  参考訳（メタデータ） (2021-04-13T08:23:46Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。