論文の概要: MURANA: A Generic Framework for Stochastic Variance-Reduced Optimization

• arxiv url: http://arxiv.org/abs/2106.03056v1
• Date: Sun, 6 Jun 2021 07:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:34:09.059303
• Title: MURANA: A Generic Framework for Stochastic Variance-Reduced Optimization
• Title（参考訳）: ムラナ:確率変数再現最適化のためのジェネリックフレームワーク
• Authors: Laurent Condat and Peter Richt\'arik
• Abstract要約: MULtiple RANdomized Algorithm (MURANA) と呼ぶ汎用分散還元アルゴリズムを提案する。 本手法は一般演算子で定式化され,計算複雑性を低減するための様々な戦略をモデル化することができる。 ELVIRAと呼ばれるその1つを強調し、Loopless SVRGで改善されていることを示す。
• 参考スコア（独自算出の注目度）: 12.335698325757491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a generic variance-reduced algorithm, which we call MUltiple RANdomized Algorithm (MURANA), for minimizing a sum of several smooth functions plus a regularizer, in a sequential or distributed manner. Our method is formulated with general stochastic operators, which allow us to model various strategies for reducing the computational complexity. For example, MURANA supports sparse activation of the gradients, and also reduction of the communication load via compression of the update vectors. This versatility allows MURANA to cover many existing randomization mechanisms within a unified framework. However, MURANA also encodes new methods as special cases. We highlight one of them, which we call ELVIRA, and show that it improves upon Loopless SVRG.
• Abstract（参考訳）: 本稿では,数個のスムーズな関数と正規化器の和を逐次的あるいは分散的に最小化するために,MUltiple RANdomized Algorithm (MURANA) と呼ぶ汎用分散還元アルゴリズムを提案する。 本手法は一般確率作用素で定式化されており,計算量を減らすための様々な戦略をモデル化できる。 例えば、Muranaはグラデーションのスパースアクティベーションをサポートし、更新ベクターの圧縮による通信負荷の低減もサポートしている。 この汎用性により、Muranaは統一されたフレームワーク内の多くの既存のランダム化メカニズムをカバーできる。 しかし、村名も特例として新法を定めている。 ELVIRAと呼ばれるその1つを強調し、Loopless SVRGで改善されていることを示す。

関連論文リスト

• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Federated Learning Using Variance Reduced Stochastic Gradient for Probabilistically Activated Agents [0.0]
  本稿では,各エージェントが各反復において任意の選択の確率を持つような最適解に対して,分散低減と高速収束率の両方を達成する2層構造を持つフェデレートラーニング(FL)のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-25T22:04:49Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Optimal quantisation of probability measures using maximum mean discrepancy [10.29438865750845]
  何人かの研究者は、確率測度を定量化する方法として、最大平均誤差 (MMD) の最小化を提案している。 離散的候補集合よりもMDDを優しく最小化する逐次アルゴリズムを考える。 本手法を各反復時の候補集合のミニバッチに適用する変種について検討する。
  論文  参考訳（メタデータ） (2020-10-14T13:09:48Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。