Fugu-MT 論文翻訳(概要): A Distributed Algorithm for Measure-valued Optimization with Additive Objective

論文の概要: A Distributed Algorithm for Measure-valued Optimization with Additive Objective

arxiv url: http://arxiv.org/abs/2202.08930v1
Date: Thu, 17 Feb 2022 23:09:41 GMT
ステータス: 処理完了
システム内更新日: 2022-02-21 14:54:10.325167
Title: A Distributed Algorithm for Measure-valued Optimization with Additive Objective
Title（参考訳）: 付加目的量を用いた評価最適化のための分散アルゴリズム
Authors: Iman Nodozi, Abhishek Halder
Abstract要約: 本稿では,加法目的を用いた測度パラメトリック最適化問題の解法として,分散非数値アルゴリズムを提案する。提案アルゴリズムは2層交互方向乗算器(ADMM)からなる。全体のアルゴリズムは、確率測度の多様体内の流れの演算子分割勾配を実現する。
参考スコア（独自算出の注目度）: 1.0965065178451106
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a distributed nonparametric algorithm for solving measure-valued optimization problems with additive objectives. Such problems arise in several contexts in stochastic learning and control including Langevin sampling from an unnormalized prior, mean field neural network learning and Wasserstein gradient flows. The proposed algorithm comprises a two-layer alternating direction method of multipliers (ADMM). The outer-layer ADMM generalizes the Euclidean consensus ADMM to the Wasserstein consensus ADMM, and to its entropy-regularized version Sinkhorn consensus ADMM. The inner-layer ADMM turns out to be a specific instance of the standard Euclidean ADMM. The overall algorithm realizes operator splitting for gradient flows in the manifold of probability measures.
Abstract（参考訳）: 本稿では,付加目的の測度値最適化問題を解くための分散非パラメトリックアルゴリズムを提案する。このような問題は、非正規化された平均場ニューラルネットワーク学習とワッサーシュタイン勾配流からランゲヴィンをサンプリングするなど、確率的学習と制御のいくつかの文脈で発生する。提案アルゴリズムは,乗算器の2層交互方向法(ADMM)を含む。外側層ADMMはユークリッドコンセンサスADMMをワッサーシュタインコンセンサスADMMに一般化し、エントロピー正規化バージョンSinkhornコンセンサスADMMに一般化する。内層ADMMは標準ユークリッドADMMの特定の例であることが判明した。全体アルゴリズムは、確率測度の多様体内の勾配流れに対する作用素分割を実現する。

関連論文リスト

AA-DLADMM: An Accelerated ADMM-based Framework for Training Deep Neural Networks [1.3812010983144802]
勾配降下(SGD)とその多くの変種は、ディープニューラルネットワークを訓練するための広範な最適化アルゴリズムである。 SGDは、勾配の消失、理論的保証の欠如、入力に対するかなりの感度など、避けられない欠点に悩まされている。本稿では,この欠点に対処するため,Anderson Acceleration for Deep Learning ADMM (AA-DLADMM)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-08T01:22:00Z)
Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文参考訳（メタデータ） (2023-08-31T14:16:30Z)
A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
論文参考訳（メタデータ） (2021-12-22T01:55:24Z)
Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文参考訳（メタデータ） (2021-06-30T16:49:07Z)
Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。数値実験により, 効率の面で有意な改善が得られることを示した。
論文参考訳（メタデータ） (2021-04-22T07:41:12Z)
A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization [17.553531291690025]
非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
論文参考訳（メタデータ） (2021-02-10T13:55:28Z)
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文参考訳（メタデータ） (2020-10-02T10:41:59Z)
Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM [52.12831959365598]
本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決するための,コミュニケーション効率のよい分散機械学習フレームワークを提案する。提案アルゴリズムであるCensored and Quantized Generalized GADMMは、GADMM(Group Alternating Direction Method of Multipliers)の労働者グループ化と分散学習のアイデアを活用する。 CQ-GGADMMは通信ラウンド数で高い通信効率を示し、精度と収束速度を損なうことなくエネルギー消費を伝達する。
論文参考訳（メタデータ） (2020-09-14T14:18:19Z)
Alternating Direction Method of Multipliers for Quantization [15.62692130672419]
量子化のための乗算器の交互方向法(texttADMM-Q$)アルゴリズムの性能について検討する。不正確な更新ルールを処理できる$texttADMM-Q$のいくつかのバリエーションを開発しています。提案手法の有効性を実証的に評価した。
論文参考訳（メタデータ） (2020-09-08T01:58:02Z)
Faster Stochastic Alternating Direction Method of Multipliers for Nonconvex Optimization [110.52708815647613]
本稿では、SPADMMと呼ばれる新しい経路を用いて、非積分最適化のための乗算器の高速な交互方向(ADMM)を提案する。我々は,SPADMMが1次微分オラクル推定器 (IFO) を達成し,IFOの記録を求める。我々は,オンラインSPIDER-ADMMがIFOFO(epsilon)を$mathcalO(n1)$の係数で持つことを示した。
論文参考訳（メタデータ） (2020-08-04T02:59:42Z)
Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文参考訳（メタデータ） (2020-06-15T02:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。