論文の概要: Learning to accelerate distributed ADMM using graph neural networks

• arxiv url: http://arxiv.org/abs/2509.05288v1
• Date: Fri, 05 Sep 2025 17:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.676338
• Title: Learning to accelerate distributed ADMM using graph neural networks
• Title（参考訳）: グラフニューラルネットワークを用いた分散ADMMの高速化
• Authors: Henri Doerks, Paul Häusner, Daniel Hernández Escobar, Jens Sjölund,
• Abstract要約: 分散ADMMイテレーションは,グラフニューラルネットワークのメッセージパッシングフレームワーク内で自然に表現可能であることを示す。 我々は、アルゴリズムの収束特性を保ちながら、与えられた問題クラスの最終繰り返しエラーを最小限に抑えるために、ネットワークパラメータをエンドツーエンドに訓練する。
• 参考スコア（独自算出の注目度）: 4.309217525488745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed optimization is fundamental in large-scale machine learning and control applications. Among existing methods, the Alternating Direction Method of Multipliers (ADMM) has gained popularity due to its strong convergence guarantees and suitability for decentralized computation. However, ADMM often suffers from slow convergence and sensitivity to hyperparameter choices. In this work, we show that distributed ADMM iterations can be naturally represented within the message-passing framework of graph neural networks (GNNs). Building on this connection, we propose to learn adaptive step sizes and communication weights by a graph neural network that predicts the hyperparameters based on the iterates. By unrolling ADMM for a fixed number of iterations, we train the network parameters end-to-end to minimize the final iterates error for a given problem class, while preserving the algorithm's convergence properties. Numerical experiments demonstrate that our learned variant consistently improves convergence speed and solution quality compared to standard ADMM. The code is available at https://github.com/paulhausner/learning-distributed-admm.
• Abstract（参考訳）: 分散最適化は、大規模機械学習および制御アプリケーションにおいて基本的なものである。 既存手法の中でも,分散計算に強い収束保証と適合性のため,ALMM (Alternating Direction Method of Multipliers) が普及している。 しかし、ADMMは、しばしば、ハイパーパラメータの選択に対する緩やかな収束と感度に悩まされる。 本研究では,分散ADMMイテレーションがグラフニューラルネットワーク(GNN)のメッセージパッシングフレームワーク内で自然に表現可能であることを示す。 この接続に基づいて,反復量に基づいてハイパーパラメータを予測するグラフニューラルネットワークにより,適応的なステップサイズと通信重みを学習することを提案する。 一定回数の反復に対してADMMをアンロールすることにより、アルゴリズムの収束特性を保ちながら、与えられた問題クラスの最終繰り返しエラーを最小限に抑えるために、ネットワークパラメータをエンドツーエンドにトレーニングする。 数値実験により,我々の学習した変種は標準ADMMと比較して収束速度と解の質を一貫して改善することを示した。 コードはhttps://github.com/paulhausner/learning-distributed-admm.comで公開されている。

関連論文リスト

• AA-DLADMM: An Accelerated ADMM-based Framework for Training Deep Neural Networks [1.3812010983144802]
  勾配降下(SGD)とその多くの変種は、ディープニューラルネットワークを訓練するための広範な最適化アルゴリズムである。 SGDは、勾配の消失、理論的保証の欠如、入力に対するかなりの感度など、避けられない欠点に悩まされている。 本稿では,この欠点に対処するため,Anderson Acceleration for Deep Learning ADMM (AA-DLADMM)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T01:22:00Z)
• ADMM Algorithms for Residual Network Training: Convergence Analysis and Parallel Implementation [5.3446906736406135]
  残差ニューラルネットワークを訓練するための乗算器アルゴリズム(ADMM)のシリアルおよび並列近距離(線形化)の交互方向法を提案する。 提案アルゴリズムは反復点と目的関数の値の両方に対してR-線形(サブ線形)で収束することを示す。 実験により提案したADMMアルゴリズムの有効性を検証し, 高速で安定な収束, 性能向上, 高い計算効率を示した。
  論文  参考訳（メタデータ） (2023-10-23T20:01:06Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
  乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。 本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。 提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-12-22T01:55:24Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning [66.18202188565922]
  我々はQGADMM(QGADMM)という通信効率の高い分散機械学習(ML)アルゴリズムを提案する。 我々は,凸関数に対するQGADMMの収束性を証明しつつ,モデル化レベルとその確率を適応的に調整する新しい量子化法を開発した。
  論文  参考訳（メタデータ） (2019-10-23T10:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。