論文の概要: Heavy Ball Momentum for Conditional Gradient

• arxiv url: http://arxiv.org/abs/2110.04243v1
• Date: Fri, 8 Oct 2021 16:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 16:56:12.782079
• Title: Heavy Ball Momentum for Conditional Gradient
• Title（参考訳）: 条件勾配のための重球運動量
• Authors: Bingcong Li, Alireza Sadeghi, Georgios B. Giannakis
• Abstract要約: 条件勾配、別名フランク・ウルフ(FW)アルゴリズムは、機械学習と信号処理の応用において、十分に文書化された利点がある。 この研究は、重い球運動量と、そのFWへの影響を扱う。 FWにおける重い球運動量の有用性を数値解析により実証した。
• 参考スコア（独自算出の注目度）: 67.58002120548566
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Conditional gradient, aka Frank Wolfe (FW) algorithms, have well-documented merits in machine learning and signal processing applications. Unlike projection-based methods, momentum cannot improve the convergence rate of FW, in general. This limitation motivates the present work, which deals with heavy ball momentum, and its impact to FW. Specifically, it is established that heavy ball offers a unifying perspective on the primal-dual (PD) convergence, and enjoys a tighter per iteration PD error rate, for multiple choices of step sizes, where PD error can serve as the stopping criterion in practice. In addition, it is asserted that restart, a scheme typically employed jointly with Nesterov's momentum, can further tighten this PD error bound. Numerical results demonstrate the usefulness of heavy ball momentum in FW iterations.
• Abstract（参考訳）: 条件勾配、別名frank wolfe (fw)アルゴリズムは、機械学習および信号処理アプリケーションにおいて、よく文書化された利点がある。 射影法とは異なり、運動量は一般にFWの収束率を改善することはできない。 この制限は、重いボールの運動量を扱う現在の仕事とそのfwへの影響を動機付ける。 特に、重球は主双対(pd)収束に関する統一的な視点を提供し、ステップサイズの複数の選択において、反復 pd の誤差率をより厳格に保ち、pd の誤差が実際に停止基準となるようにしている。 さらに、Nesterovの運動量と共同で使用されるリスタートスキームは、このPDエラー境界をさらに強化することができると主張されている。 FW繰り返しにおける重い球運動量の有用性を数値的に示す。

関連論文リスト

• Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise [16.12834917344859]
  重球運動量法は加速収束を提供し、大きなバッチ設定でうまく機能するはずだと広く推測されている。 重球運動量は, SGDの偏差項の加速収束率を$tildemathcalO(sqrtkappa)$で達成し, ほぼ最適収束率を達成できることを示した。 つまり、重い球運動量を持つSGDは、分散機械学習やフェデレーション学習のような大規模なバッチ設定で有用である。
  論文  参考訳（メタデータ） (2023-12-22T09:58:39Z)
• Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
  Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
  論文  参考訳（メタデータ） (2023-04-23T20:05:09Z)
• Weighted Gaussian Process Bandits for Non-stationary Environments [30.49357960656324]
  We developed WGP-UCB, a novel UCB-type algorithm based on weighted Gaussian process regression。 鍵となる課題は、無限次元の特徴写像を扱う方法である。 重み付き最大情報ゲインに対して、普遍的上界と重み依存上界を提供する。
  論文  参考訳（メタデータ） (2021-07-06T03:37:33Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• Escaping Saddle Points Faster with Stochastic Momentum [9.485782209646445]
  ディープネットワークでは、モーメントは収束時間を大幅に改善しているように見える。 我々は,SGDを高速に回避できるため,運動量が深度トレーニングを改善することを示す。 また、理想運動量パラメータの選択方法を示す。
  論文  参考訳（メタデータ） (2021-06-05T23:34:02Z)
• Enhancing Parameter-Free Frank Wolfe with an Extra Subproblem [75.83472151564185]
  この研究では、ExtraFWと呼ばれるFrank Wolfe(FW)アルゴリズムの変種を導入し、分析する。 ExtraFWは、予測補正(PC)フォーマットで決定変数が更新されるため、イテレーション毎に活用される勾配のペアである。 他のパラメータフリーなFW変種と比較すると、同じ問題でより高速なレートを持つが、ExtraFWはPCのアップデートによって速度ときめ細かい分析を改善している。
  論文  参考訳（メタデータ） (2020-12-09T19:47:24Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• How Does Momentum Help Frank Wolfe? [81.95857252228537]
  加速勾配法(AGM)におけるFW型アルゴリズムと運動量との関係を明らかにする。 負の面において、これらの接続は、なぜモーメントがFW型アルゴリズムに効果を示さないのかを示している。 一方、このリンクの背後にある励ましのメッセージは、一連の問題において、FWにとってモーメントが有用であるということだ。
  論文  参考訳（メタデータ） (2020-06-19T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。