論文の概要: Limited Communications Distributed Optimization via Deep Unfolded Distributed ADMM

• arxiv url: http://arxiv.org/abs/2309.14353v2
• Date: Tue, 20 Aug 2024 11:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 20:51:22.423099
• Title: Limited Communications Distributed Optimization via Deep Unfolded Distributed ADMM
• Title（参考訳）: 分散ADMMを用いた分散型分散通信の分散最適化
• Authors: Yoav Noah, Nir Shlezinger,
• Abstract要約: 本稿では,D-ADMMが各エージェントによって交換される少数のメッセージで確実に動作できるようにするための展開D-ADMMを提案する。 分散推定タスクと分散学習シナリオの2つの代表的な設定に対して,展開D-ADMMを特化している。 提案手法は,D-ADMMの通信性能を損なうことなく,D-ADMMの通信回数を大幅に削減することを示す。
• 参考スコア（独自算出の注目度）: 27.09017677987757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed optimization is a fundamental framework for collaborative inference and decision making in decentralized multi-agent systems. The operation is modeled as the joint minimization of a shared objective which typically depends on observations gathered locally by each agent. Distributed optimization algorithms, such as the common D-ADMM, tackle this task by iteratively combining local computations and message exchanges. One of the main challenges associated with distributed optimization, and particularly with D-ADMM, is that it requires a large number of communications, i.e., messages exchanged between the agents, to reach consensus. This can make D-ADMM costly in power, latency, and channel resources. In this work we propose unfolded D-ADMM, which follows the emerging deep unfolding methodology to enable D-ADMM to operate reliably with a predefined and small number of messages exchanged by each agent. Unfolded D-ADMM fully preserves the operation of D-ADMM, while leveraging data to tune the hyperparameters of each iteration of the algorithm. These hyperparameters can either be agent-specific, aiming at achieving the best performance within a fixed number of iterations over a given network, or shared among the agents, allowing to learn to distributedly optimize over different networks. For both settings, our unfolded D-ADMM operates with limited communications, while preserving the interpretability and flexibility of the original D-ADMM algorithm. We specialize unfolded D-ADMM for two representative settings: a distributed estimation task, considering a sparse recovery setup, and a distributed learning scenario, where multiple agents collaborate in learning a machine learning model. Our numerical results demonstrate that the proposed approach dramatically reduces the number of communications utilized by D-ADMM, without compromising on its performance.
• Abstract（参考訳）: 分散最適化は分散マルチエージェントシステムにおける協調推論と意思決定の基本的なフレームワークである。 この操作は、通常各エージェントが局所的に収集した観測に依存する共有目的の結合最小化としてモデル化される。 D-ADMMのような分散最適化アルゴリズムは、局所的な計算とメッセージ交換を反復的に組み合わせることで、この課題に対処する。 分散最適化に関連する主な課題の1つとして、特にD-ADMMでは、エージェント間でやりとりされるメッセージがコンセンサスに達するのに大量の通信が必要である。 これにより、D-ADMMの電力、レイテンシ、チャネルリソースのコストがかかります。 本研究では,D-ADMMが各エージェントによって事前に定義された少数のメッセージで確実に動作できるようにするための,新たな深層展開手法を踏襲した展開D-ADMMを提案する。 展開されたD-ADMMは、D-ADMMの動作を完全に保存し、データを活用してアルゴリズムの各イテレーションのハイパーパラメータをチューニングする。 これらのハイパーパラメータはエージェント固有のもので、与えられたネットワーク上で一定回数のイテレーションで最高のパフォーマンスを達成することを目指しているか、エージェント間で共有されているため、異なるネットワーク上で分散最適化を学ぶことができる。 いずれの設定においても,D-ADMMアルゴリズムの解釈可能性と柔軟性を保ちながら,限られた通信で動作します。 我々は,分散推定タスク,スパースリカバリ設定を考慮した分散推定タスク,機械学習モデルの学習において複数のエージェントが協力する分散学習シナリオの2つの代表的な設定に対して,展開されたD-ADMMを特化している。 提案手法は,D-ADMMの通信性能を損なうことなく,D-ADMMの通信回数を大幅に削減することを示す。

関連論文リスト

• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Communication Efficient Federated Learning via Ordered ADMM in a Fully Decentralized Setting [32.41824379833395]
  命令型乗算器の交互方向法(OADMM)と呼ばれる通信効率のよいアルゴリズムを考案した。 OADMMの変種はSOADMMと呼ばれ、送信を順序付けするが、各ノードごとに送信が停止されることは決してない。
  論文  参考訳（メタデータ） (2022-02-05T15:32:02Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT [106.83952081124195]
  強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。 本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。 実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T16:49:07Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM [52.12831959365598]
  本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決するための,コミュニケーション効率のよい分散機械学習フレームワークを提案する。 提案アルゴリズムであるCensored and Quantized Generalized GADMMは、GADMM(Group Alternating Direction Method of Multipliers)の労働者グループ化と分散学習のアイデアを活用する。 CQ-GGADMMは通信ラウンド数で高い通信効率を示し、精度と収束速度を損なうことなくエネルギー消費を伝達する。
  論文  参考訳（メタデータ） (2020-09-14T14:18:19Z)
• Towards Plausible Differentially Private ADMM Based Distributed Machine Learning [27.730535587906168]
  本稿では,PP-ADMM と IPP-ADMM という,可塑性差分ADMM アルゴリズムを提案する。 同じプライバシ保証の下では、提案アルゴリズムはモデル精度と収束率の観点から、最先端技術である。
  論文  参考訳（メタデータ） (2020-08-11T03:40:55Z)
• Unsupervised Domain Adaptation in the Dissimilarity Space for Person Re-identification [11.045405206338486]
  そこで本稿では,ペア距離の整合性を実現するために,D-MMD(Dissimilarity-based Maximum Mean Discrepancy)の新たな損失を提案する。 3つの挑戦的なベンチマークデータセットによる実験結果から、D-MMDの損失は、ソースとドメインの分布がよりよくなるにつれて減少することが示された。
  論文  参考訳（メタデータ） (2020-07-27T22:10:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。