Fugu-MT 論文翻訳(概要): Universal Majorization-Minimization Algorithms

論文の概要: Universal Majorization-Minimization Algorithms

arxiv url: http://arxiv.org/abs/2308.00190v1
Date: Mon, 31 Jul 2023 23:01:54 GMT
ステータス: 処理完了
システム内更新日: 2023-08-02 15:58:49.767809
Title: Universal Majorization-Minimization Algorithms
Title（参考訳）: 一般化最小化アルゴリズム
Authors: Matthew Streeter
Abstract要約: メジャー化最小化(Majorization-minimization, MM)は、局所的な高さの上限を最小化することで損失を反復的に減少させる最適化手法のファミリーである。我々は、最近、自動微分の一般化を用いて、行列化子を自動的に導出するよく研究された一般化を提案する。
参考スコア（独自算出の注目度）: 7.6146285961466
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Majorization-minimization (MM) is a family of optimization methods that iteratively reduce a loss by minimizing a locally-tight upper bound, called a majorizer. Traditionally, majorizers were derived by hand, and MM was only applicable to a small number of well-studied problems. We present optimizers that instead derive majorizers automatically, using a recent generalization of Taylor mode automatic differentiation. These universal MM optimizers can be applied to arbitrary problems and converge from any starting point, with no hyperparameter tuning.
Abstract（参考訳）: メジャー化最小化(Majorization-minimization, MM)は、局所的な高さの上限を最小化することで損失を反復的に減少させる最適化手法のファミリーである。伝統的に、プライマリエータは手動で導出され、MMは少数のよく研究された問題にのみ適用された。本稿では,テイラーモードの自動微分の最近の一般化を用いて,マーシャライザを自動的に導出する最適化器を提案する。これらの普遍mmオプティマイザは任意の問題に適用でき、ハイパーパラメータチューニングなしで任意の出発点から収束することができる。

関連論文リスト

A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion [15.128477070895055]
本稿では,Majorization-Minimization Gauss-Newton (MMGN) と呼ばれる新しい1ビット行列補完法を提案する。本手法は,元の最適化問題を標準的な低ランク行列補完問題に変換する偏極最小化原理に基づく。
論文参考訳（メタデータ） (2023-04-27T03:16:52Z)
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization [24.784754071913255]
適応的手法は、パラメータに依存しない方法でハエの段差を調整する能力を示した。非凹極小問題に対する勾配上昇の電流収束解析にはパラメータの注意深くチューニングが必要である。
論文参考訳（メタデータ） (2022-10-31T17:05:36Z)
Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。基本的に無視可能なコストで、同時に分散を低減することができる。
論文参考訳（メタデータ） (2021-07-01T06:43:11Z)
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文参考訳（メタデータ） (2021-03-27T19:56:00Z)
Adaptive extra-gradient methods for min-max optimization and games [35.02879452114223]
本稿では,初期の反復で観測された勾配データの幾何を自動的に活用する,minmax最適化アルゴリズムの新たなファミリーを提案する。この適応機構により,提案手法は問題がスムーズかどうかを自動的に検出する。滑らかな問題における$mathcalO (1/varepsilon)$反復と、非滑らかな問題における$mathcalO (1/varepsilon)$反復に収束する。
論文参考訳（メタデータ） (2020-10-22T22:54:54Z)
Meta-learning based Alternating Minimization Algorithm for Non-convex Optimization [9.774392581946108]
複数変数の非プロブレムに挑戦する新しい解を提案する。提案手法では,他の手法が一般的に失敗するケースに対して,効果的なイテレーションを実現することができる。
論文参考訳（メタデータ） (2020-09-09T10:45:00Z)
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文参考訳（メタデータ） (2020-07-02T16:02:02Z)
Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文参考訳（メタデータ） (2020-06-16T17:55:46Z)
Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously [0.0]
一般化は機械学習における中心的な問題である。本稿では,新たなリスク尺度に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2020-06-11T18:04:36Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。提案手法は,解の空間性を利用して高次元データにスケールする。
論文参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。