論文の概要: Decentralized Statistical Inference with Unrolled Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2104.01555v1
• Date: Sun, 4 Apr 2021 07:52:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:20:24.031322
• Title: Decentralized Statistical Inference with Unrolled Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークを用いた分散統計的推論
• Authors: He Wang, Yifei Shen, Ziyuan Wang, Dongsheng Li, Jun Zhang, Khaled B. Letaief and Jie Lu
• Abstract要約: 分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
• 参考スコア（独自算出の注目度）: 26.025935320024665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the decentralized statistical inference problem, where a network of agents cooperatively recover a (structured) vector from private noisy samples without centralized coordination. Existing optimization-based algorithms suffer from issues of model mismatch and poor convergence speed, and thus their performance would be degraded, provided that the number of communication rounds is limited. This motivates us to propose a learning-based framework, which unrolls well-noted decentralized optimization algorithms (e.g., Prox-DGD and PG-EXTRA) into graph neural networks (GNNs). By minimizing the recovery error via end-to-end training, this learning-based framework resolves the model mismatch issue. Our convergence analysis (with PG-EXTRA as the base algorithm) reveals that the learned model parameters may accelerate the convergence and reduce the recovery error to a large extent. The simulation results demonstrate that the proposed GNN-based learning methods prominently outperform several state-of-the-art optimization-based algorithms in convergence speed and recovery error.
• Abstract（参考訳）: 本稿では,エージェントのネットワークが協調的に(構造化)ベクターを集中的な調整なしにプライベートなノイズサンプルから回収する分散統計的推論問題について検討する。 既存の最適化に基づくアルゴリズムは、モデルミスマッチや収束速度の低下といった問題に悩まされており、通信ラウンドの数が限られている場合、その性能は低下する。 これにより、よく知られた分散最適化アルゴリズム(Prox-DGDやPG-EXTRAなど)をグラフニューラルネットワーク(GNN)にアンロールする学習ベースのフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 我々の収束解析(PG-EXTRAをベースアルゴリズムとする)は、学習されたモデルパラメータが収束を加速し、回復誤差をかなり低減できることを示した。 シミュレーションの結果,提案手法は収束速度と回復誤差において,最先端の最適化アルゴリズムよりも優れていることがわかった。

関連論文リスト

• Convergence Visualizer of Decentralized Federated Distillation with Reduced Communication Costs [3.2098126952615442]
  フェデレートラーニング(FL)は、データ共有を必要とせずに協調学習を実現し、プライバシーの漏洩を防ぐ。 本研究では,CMFD の未解決課題として,(1) 通信コストの削減と(2) モデル収束の可視化の2つを解決した。
  論文  参考訳（メタデータ） (2023-12-19T07:23:49Z)
• Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization [22.988563731766586]
  合成ミニマックス問題は、多くの新興機械学習モデルをカバーするため、近年注目を集めている。 本研究は,分散化合成ミニマックス問題に対して,標準ゴシップ通信方式では線形高速化が達成できないことを示す。 本研究では,インナーレベル関数におけるコンセンサス誤差を低減するために,モーメント勾配アルゴリズムを用いた新たな分散合成降下法を開発した。
  論文  参考訳（メタデータ） (2023-07-25T11:51:20Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus [2.8617826964327113]
  本稿では,GIANTに基づくNewton型完全分散最適化アルゴリズムであるNetwork-GIANTを紹介する。 このアルゴリズムは,強い凸関数と滑らかな損失関数を仮定して,ネットワーク上の厳密解に対する半言語的および指数的収束を保証する。 我々は,Network-DANEやNewton-Raphson Consensusのような最先端の分散学習アルゴリズムに比べて,Network-GIANTの収束性能が優れていることを示す実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-13T11:42:40Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。