論文の概要: Temporal-Structure-Assisted Gradient Aggregation for Over-the-Air Federated Edge Learning

• arxiv url: http://arxiv.org/abs/2103.02270v1
• Date: Wed, 3 Mar 2021 09:13:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 16:31:39.254054
• Title: Temporal-Structure-Assisted Gradient Aggregation for Over-the-Air Federated Edge Learning
• Title（参考訳）: 過空フェデレーションエッジ学習のための時間構造支援グラディエントアグリゲーション
• Authors: Dian Fan, Xiaojun Yuan, Ying-Jun Angela Zhang
• Abstract要約: 本稿では,モデル集約系列の固有時間構造を特徴付けるマルコフ確率モデルを提案する。 本研究では,時間構造支援勾配集約(TSA-GA)と呼ばれるメッセージパッシングアルゴリズムを開発し,この推定課題を満たす。 提案するtsagaアルゴリズムは最先端技術を大幅に上回り,同等の学習性能を達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 24.248673415586413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate over-the-air model aggregation in a federated edge learning (FEEL) system. We introduce a Markovian probability model to characterize the intrinsic temporal structure of the model aggregation series. With this temporal probability model, we formulate the model aggregation problem as to infer the desired aggregated update given all the past observations from a Bayesian perspective. We develop a message passing based algorithm, termed temporal-structure-assisted gradient aggregation (TSA-GA), to fulfil this estimation task with low complexity and near-optimal performance. We further establish the state evolution (SE) analysis to characterize the behaviour of the proposed TSA-GA algorithm, and derive an explicit bound of the expected loss reduction of the FEEL system under certain standard regularity conditions. In addition, we develop an expectation maximization (EM) strategy to learn the unknown parameters in the Markovian model. We show that the proposed TSAGA algorithm significantly outperforms the state-of-the-art, and is able to achieve comparable learning performance as the error-free benchmark in terms of both convergence rate and final test accuracy.
• Abstract（参考訳）: 本稿では,フェデレーションエッジラーニング(FEEL)システムにおける空中モデル集約について検討する。 本稿では,モデル集約系列の固有時間構造を特徴付けるマルコフ確率モデルを提案する。 この時間的確率モデルを用いて,ベイズ的観点からの過去のすべての観測から所望の集計更新を推測するためにモデル集約問題を定式化する。 メッセージパッシングに基づくアルゴリズムである時間構造支援勾配アグリゲーション(TSA-GA)を開発し、この推定タスクを低複雑性およびほぼ最適性能で実現する。 提案されたTSA-GAアルゴリズムの挙動を特徴づける状態進化(SE)解析をさらに確立し、特定の標準規則条件下でFEELシステムの損失低減が予想されるという明確な境界を導出する。 さらに,マルコフモデルにおける未知のパラメータを学習するための期待最大化(em)戦略を考案する。 提案したTSAGAアルゴリズムは最先端のアルゴリズムよりも優れており、収束率と最終テスト精度の両方の観点から誤差のないベンチマークとして同等の学習性能が得られることを示す。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting [49.1574468325115]
  本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。 本手法はLSTMの重みと偏りを分割的に最適化する。 イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2023-12-29T08:42:10Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• An Interpretable and Efficient Infinite-Order Vector Autoregressive Model for High-Dimensional Time Series [1.4939176102916187]
  本稿では,高次元時系列に対する新しいスパース無限次VARモデルを提案する。 このモデルによって得られたVARMA型力学の時間的・横断的な構造は別々に解釈できる。 統計的効率と解釈可能性の向上は、時間的情報をほとんど失わずに達成できる。
  論文  参考訳（メタデータ） (2022-09-02T17:14:24Z)
• Online Time Series Anomaly Detection with State Space Gaussian Processes [12.483273106706623]
  R-ssGPFAは、一様および多変量時系列の教師なしオンライン異常検出モデルである。 高次元時系列に対して、時系列の一般的な潜伏過程を特定するためにガウス過程因子解析の拡張を提案する。 異常観測時にカルマン更新をスキップすることで,モデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2022-01-18T06:43:32Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
  推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。 本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。 結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
  論文  参考訳（メタデータ） (2020-05-28T13:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。