論文の概要: Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization

• arxiv url: http://arxiv.org/abs/2305.10852v1
• Date: Thu, 18 May 2023 10:15:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 15:55:46.082112
• Title: Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization
• Title（参考訳）: Q-SHED: Hessian Eigenvectors Quantizationによるエッジでの分散最適化
• Authors: Nicol\`o Dal Fabbro, Michele Rossi, Luca Schenato, Subhrakanti Dey
• Abstract要約: ニュートン型(NT)法は、DO問題における堅牢な収束率の実現要因として提唱されている。 インクリメンタルなヘッセン固有ベクトル量子化に基づく新しいビット割り当て方式を特徴とする、DOのための元のNTアルゴリズムであるQ-SHEDを提案する。 Q-SHEDはコンバージェンスに必要な通信ラウンド数を最大60%削減できることを示す。
• 参考スコア（独自算出の注目度）: 5.404315085380945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Edge networks call for communication efficient (low overhead) and robust distributed optimization (DO) algorithms. These are, in fact, desirable qualities for DO frameworks, such as federated edge learning techniques, in the presence of data and system heterogeneity, and in scenarios where internode communication is the main bottleneck. Although computationally demanding, Newton-type (NT) methods have been recently advocated as enablers of robust convergence rates in challenging DO problems where edge devices have sufficient computational power. Along these lines, in this work we propose Q-SHED, an original NT algorithm for DO featuring a novel bit-allocation scheme based on incremental Hessian eigenvectors quantization. The proposed technique is integrated with the recent SHED algorithm, from which it inherits appealing features like the small number of required Hessian computations, while being bandwidth-versatile at a bit-resolution level. Our empirical evaluation against competing approaches shows that Q-SHED can reduce by up to 60% the number of communication rounds required for convergence.
• Abstract（参考訳）: エッジネットワークは通信効率(低オーバーヘッド)とロバスト分散最適化(DO)アルゴリズムを要求する。 実際、これらは、フェデレートされたエッジ学習技術、データとシステムの不均一性の存在、およびノード間通信が主要なボトルネックとなるシナリオにおけるDOフレームワークにとって望ましい品質です。 計算的に要求されるが、最近ニュートン型(NT)法は、エッジデバイスが十分な計算能力を持つDO問題において、堅牢な収束率の実現手段として提唱されている。 そこで,本研究では,インクリメンタル・ヘッシアン固有ベクトル量子化に基づく新しいビット割当スキームを特徴とする,doのためのオリジナルntアルゴリズムであるq-shedを提案する。 提案手法は,最近のshedアルゴリズムと統合されており,ビット解像度レベルで帯域幅の可逆性を維持しつつ,少数のヘシアン計算のような魅力的な特徴を継承している。 競合するアプローチに対する経験的評価から,q-shedはコンバージェンスに必要な通信ラウンド数を最大60%削減できることがわかった。

関連論文リスト

• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Algorithm Unrolling for Massive Access via Deep Neural Network with Theoretical Guarantee [30.86806523281873]
  大規模アクセスはIoT(Internet of Things)ネットワークにおける重要な設計課題である。 我々は、マルチアンテナベースステーション(BS)と多数の単一アンテナIoTデバイスを備えたIoTネットワークの無許可アップリンク伝送を検討する。 本稿では,低計算複雑性と高ロバスト性を実現するために,ディープニューラルネットワークに基づく新しいアルゴリズムアンローリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-19T05:23:05Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。