論文の概要: Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning

• arxiv url: http://arxiv.org/abs/2012.08677v2
• Date: Sat, 19 Dec 2020 21:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-05-03 02:48:57.227392
• Title: Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning
• Title（参考訳）: 高速かつ連続的なエッジ学習のための非接触ADMMに基づくフェデレーションメタラーニング
• Authors: Sheng Yue, Ju Ren, Jiang Xin, Sen Lin, Junshan Zhang
• Abstract要約: エッジノードが先行タスクからのナレッジ転送を支援するメタモデルを共同学習する,プラットフォーム支援型フェデレーション型メタラーニングアーキテクチャを提案する。 ADMM-FedMetaの収束特性、迅速な適応性能、および事前知識伝達の効果の観点から、包括的な分析を提供します。
• 参考スコア（独自算出の注目度）: 27.506731375782582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to meet the requirements for performance, safety, and latency in many IoT applications, intelligent decisions must be made right here right now at the network edge. However, the constrained resources and limited local data amount pose significant challenges to the development of edge AI. To overcome these challenges, we explore continual edge learning capable of leveraging the knowledge transfer from previous tasks. Aiming to achieve fast and continual edge learning, we propose a platform-aided federated meta-learning architecture where edge nodes collaboratively learn a meta-model, aided by the knowledge transfer from prior tasks. The edge learning problem is cast as a regularized optimization problem, where the valuable knowledge learned from previous tasks is extracted as regularization. Then, we devise an ADMM based federated meta-learning algorithm, namely ADMM-FedMeta, where ADMM offers a natural mechanism to decompose the original problem into many subproblems which can be solved in parallel across edge nodes and the platform. Further, a variant of inexact-ADMM method is employed where the subproblems are `solved' via linear approximation as well as Hessian estimation to reduce the computational cost per round to $\mathcal{O}(n)$. We provide a comprehensive analysis of ADMM-FedMeta, in terms of the convergence properties, the rapid adaptation performance, and the forgetting effect of prior knowledge transfer, for the general non-convex case. Extensive experimental studies demonstrate the effectiveness and efficiency of ADMM-FedMeta, and showcase that it substantially outperforms the existing baselines.
• Abstract（参考訳）: 多くのIoTアプリケーションのパフォーマンス、安全性、レイテンシの要件を満たすために、インテリジェントな決定をここでネットワークエッジで行う必要があります。 しかし、制約のあるリソースと限られたローカルデータ量は、エッジAIの開発に重大な課題をもたらす。 これらの課題を克服するため,我々は,先行課題からの知識伝達を活用できる連続エッジ学習について検討する。 高速かつ連続的なエッジ学習の実現を目的として,エッジノードが協調してメタモデルを学習する,プラットフォーム支援型統合メタ学習アーキテクチャを提案する。 エッジ学習問題を正規化最適化問題として、従来のタスクから得られた貴重な知識を正規化として抽出する。 次に,admmベースのフェデレーションメタラーニングアルゴリズムであるadmm-fedmetaを考案する。admmは元の問題を多数のサブ問題に分解する自然なメカニズムを提供し,エッジノードとプラットフォーム間で並列に解くことができる。 さらに、線形近似とヘッセン推定によって部分問題が解かれるような inexact-admm 法の変種を用い、1ラウンドあたりの計算コストを$\mathcal{o}(n)$ に削減する。 一般の非凸の場合において,ADMM-FedMetaの収束特性,迅速な適応性能,事前知識伝達の忘れ効果を総合的に分析する。 大規模な実験ではADMM-FedMetaの有効性と効率が示され、既存のベースラインを大きく上回っている。

関連論文リスト

• A Linearized Alternating Direction Multiplier Method for Federated Matrix Completion Problems [2.2217927229805032]
  マトリックス補完は、パーソナライズされた医療、電子商取引、レコメンデーションシステム、ソーシャルネットワーク分析における幅広い応用で欠落したデータを予測するための基本となる。 伝統的な行列補完アプローチは典型的には集中型データストレージを前提としている。 フェデレートされた行列補完問題の解法としてtextttFedMC-ADMM を提案する。
  論文  参考訳（メタデータ） (2025-03-17T01:57:06Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Accelerating Federated Edge Learning via Topology Optimization [41.830942005165625]
  フェデレートエッジラーニング(FEEL)は、プライバシー保護の分散ラーニングを実現するための有望なパラダイムとして考えられている。 ストラグラー装置の存在により、過度の学習時間を消費する。 フェデレーション学習における不均一性問題に対処するために,新しいトポロジ最適化フェデレーション・エッジ・ラーニング(TOFEL)手法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:49:55Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
  乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。 本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。 提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-12-22T01:55:24Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Real-Time Edge Intelligence in the Making: A Collaborative Learning Framework via Federated Meta-Learning [24.00507627945666]
  ネットワークエッジにおけるIoTアプリケーションは、インテリジェントな判断をリアルタイムで要求する。 本稿では,まず,一組のソースノードでモデルを学習するプラットフォーム支援協調学習フレームワークを提案する。 次に、いくつかのサンプルのみを使用して、ターゲットエッジノードで新しいタスクを学ぶようにモデルを適応させる。
  論文  参考訳（メタデータ） (2020-01-09T21:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。