論文の概要: Logarithmically Quantized Distributed Optimization over Dynamic Multi-Agent Networks

• arxiv url: http://arxiv.org/abs/2410.20345v1
• Date: Sun, 27 Oct 2024 06:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:20:11.178181
• Title: Logarithmically Quantized Distributed Optimization over Dynamic Multi-Agent Networks
• Title（参考訳）: 動的マルチエージェントネットワークを用いた対数量子分散最適化
• Authors: Mohammadreza Doostmohammadian, Sérgio Pequito,
• Abstract要約: 対数量子化データ伝送を受けるマルチエージェントネットワーク上での分散最適化ダイナミクスを提案する。 均一な量子化と比較すると、ほぼ最適値を表す精度が高く、分散最適化アルゴリズムの精度も高い。
• 参考スコア（独自算出の注目度）: 0.951494089949975
• License:
• Abstract: Distributed optimization finds many applications in machine learning, signal processing, and control systems. In these real-world applications, the constraints of communication networks, particularly limited bandwidth, necessitate implementing quantization techniques. In this paper, we propose distributed optimization dynamics over multi-agent networks subject to logarithmically quantized data transmission. Under this condition, data exchange benefits from representing smaller values with more bits and larger values with fewer bits. As compared to uniform quantization, this allows for higher precision in representing near-optimal values and more accuracy of the distributed optimization algorithm. The proposed optimization dynamics comprise a primary state variable converging to the optimizer and an auxiliary variable tracking the objective function's gradient. Our setting accommodates dynamic network topologies, resulting in a hybrid system requiring convergence analysis using matrix perturbation theory and eigenspectrum analysis.
• Abstract（参考訳）: 分散最適化は、機械学習、信号処理、制御システムに多くの応用を見出す。 これらの実世界のアプリケーションでは、通信ネットワークの制約、特に帯域幅の制限が量子化技術の実装を必要としている。 本稿では,対数的に量子化されたデータ伝送を受けるマルチエージェントネットワーク上での分散最適化ダイナミクスを提案する。 この条件下では、データ交換は、より多くのビットを持つ小さな値と少ないビットを持つ大きな値を表すことの恩恵を受ける。 均一な量子化と比較すると、ほぼ最適値を表す精度が高く、分散最適化アルゴリズムの精度も高い。 提案した最適化力学は、最適化器に収束する一次状態変数と、目的関数の勾配を追跡する補助変数とから構成される。 この設定は動的ネットワークトポロジに対応し,行列摂動理論と固有スペクトル解析を用いた収束解析を必要とするハイブリッドシステムを実現する。

関連論文リスト

• Training Hamiltonian neural networks without backpropagation [0.0]
  本稿では,ハミルトニアン系を近似するニューラルネットワークのトレーニングを高速化するバックプロパゲーションフリーアルゴリズムを提案する。 従来のハミルトニアンニューラルネットワークよりもCPUの方が100倍以上高速であることを示す。
  論文  参考訳（メタデータ） (2024-11-26T15:22:30Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• Discretized Distributed Optimization over Dynamic Digraphs [6.239775988430136]
  動的有向グラフ上での連続時間分散最適化の離散時間モデルを考える(図) 我々のアルゴリズムは、スイッチングトポロジの下で、一般に接続された動的ネットワーク上で機能する。 提案するフレームワークは,分散分類と学習に適用できる。
  論文  参考訳（メタデータ） (2023-11-14T06:33:41Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Convergence and scaling of Boolean-weight optimization for hardware reservoirs [0.0]
  我々は、ランダムにリカレント接続されたニューラルネットワークの読み出し層を最適化するために、高効率なコーディネートDescentのスケーリング法則を解析的に導出した。 本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを完璧に再現するものである。
  論文  参考訳（メタデータ） (2023-05-13T12:15:25Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。