論文の概要: Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning

• arxiv url: http://arxiv.org/abs/2012.08677v2
• Date: Sat, 19 Dec 2020 21:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 02:48:57.227392
• Title: Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning
• Title（参考訳）: 高速かつ連続的なエッジ学習のための非接触ADMMに基づくフェデレーションメタラーニング
• Authors: Sheng Yue, Ju Ren, Jiang Xin, Sen Lin, Junshan Zhang
• Abstract要約: エッジノードが先行タスクからのナレッジ転送を支援するメタモデルを共同学習する,プラットフォーム支援型フェデレーション型メタラーニングアーキテクチャを提案する。 ADMM-FedMetaの収束特性、迅速な適応性能、および事前知識伝達の効果の観点から、包括的な分析を提供します。
• 参考スコア（独自算出の注目度）: 27.506731375782582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to meet the requirements for performance, safety, and latency in many IoT applications, intelligent decisions must be made right here right now at the network edge. However, the constrained resources and limited local data amount pose significant challenges to the development of edge AI. To overcome these challenges, we explore continual edge learning capable of leveraging the knowledge transfer from previous tasks. Aiming to achieve fast and continual edge learning, we propose a platform-aided federated meta-learning architecture where edge nodes collaboratively learn a meta-model, aided by the knowledge transfer from prior tasks. The edge learning problem is cast as a regularized optimization problem, where the valuable knowledge learned from previous tasks is extracted as regularization. Then, we devise an ADMM based federated meta-learning algorithm, namely ADMM-FedMeta, where ADMM offers a natural mechanism to decompose the original problem into many subproblems which can be solved in parallel across edge nodes and the platform. Further, a variant of inexact-ADMM method is employed where the subproblems are `solved' via linear approximation as well as Hessian estimation to reduce the computational cost per round to $\mathcal{O}(n)$. We provide a comprehensive analysis of ADMM-FedMeta, in terms of the convergence properties, the rapid adaptation performance, and the forgetting effect of prior knowledge transfer, for the general non-convex case. Extensive experimental studies demonstrate the effectiveness and efficiency of ADMM-FedMeta, and showcase that it substantially outperforms the existing baselines.
• Abstract（参考訳）: 多くのIoTアプリケーションのパフォーマンス、安全性、レイテンシの要件を満たすために、インテリジェントな決定をここでネットワークエッジで行う必要があります。 しかし、制約のあるリソースと限られたローカルデータ量は、エッジAIの開発に重大な課題をもたらす。 これらの課題を克服するため,我々は,先行課題からの知識伝達を活用できる連続エッジ学習について検討する。 高速かつ連続的なエッジ学習の実現を目的として,エッジノードが協調してメタモデルを学習する,プラットフォーム支援型統合メタ学習アーキテクチャを提案する。 エッジ学習問題を正規化最適化問題として、従来のタスクから得られた貴重な知識を正規化として抽出する。 次に,admmベースのフェデレーションメタラーニングアルゴリズムであるadmm-fedmetaを考案する。admmは元の問題を多数のサブ問題に分解する自然なメカニズムを提供し,エッジノードとプラットフォーム間で並列に解くことができる。 さらに、線形近似とヘッセン推定によって部分問題が解かれるような inexact-admm 法の変種を用い、1ラウンドあたりの計算コストを$\mathcal{o}(n)$ に削減する。 一般の非凸の場合において,ADMM-FedMetaの収束特性,迅速な適応性能,事前知識伝達の忘れ効果を総合的に分析する。 大規模な実験ではADMM-FedMetaの有効性と効率が示され、既存のベースラインを大きく上回っている。

関連論文リスト

• Federated Learning via Inexact ADMM [41.0031432841217]
  本稿では,乗算器の不正確な交互方向法(ADMM)を提案する。 計算と通信効率の両方で、ストラグラー効果と戦うことができ、穏やかな条件下で収束する。
  論文  参考訳（メタデータ） (2022-04-22T09:55:33Z)
• Accelerating Federated Edge Learning via Topology Optimization [41.830942005165625]
  フェデレートエッジラーニング(FEEL)は、プライバシー保護の分散ラーニングを実現するための有望なパラダイムとして考えられている。 ストラグラー装置の存在により、過度の学習時間を消費する。 フェデレーション学習における不均一性問題に対処するために,新しいトポロジ最適化フェデレーション・エッジ・ラーニング(TOFEL)手法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:49:55Z)
• Learning Distinctive Margin toward Active Domain Adaptation [27.091800612463455]
  本研究では,Select-by-Distinctive-Margin (SDM) という,簡潔だが効果的なADA法を提案する。 SDMは、データ選択のための最大マージン損失とマージンサンプリングアルゴリズムからなる。 我々は、SDMを標準的なアクティブな学習設定でベンチマークし、我々のアルゴリズムが優れたデータスケーラビリティで競合する結果を達成することを実証した。
  論文  参考訳（メタデータ） (2022-03-11T03:30:58Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
  乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。 本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。 提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-12-22T01:55:24Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Contingency-Aware Influence Maximization: A Reinforcement Learning Approach [52.109536198330126]
  インフルエンス(IM)問題は、インフルエンスの普及を最大化する、ソーシャルネットワーク内のシードノードのサブセットを見つけることを目的としている。 本研究では、招待されたノードがシードであるかどうかが不確実なIM問題(contingency-aware IM)に焦点をあてる。 最初の成功にもかかわらず、より多くのコミュニティへのソリューションの推進における大きな実践上の障害は、欲張りのアルゴリズムの巨大な実行時である。
  論文  参考訳（メタデータ） (2021-06-13T16:42:22Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。