論文の概要: Symmetry Teleportation for Accelerated Optimization

• arxiv url: http://arxiv.org/abs/2205.10637v1
• Date: Sat, 21 May 2022 16:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 13:18:13.300606
• Title: Symmetry Teleportation for Accelerated Optimization
• Title（参考訳）: 加速最適化のための対称性テレポーテーション
• Authors: Bo Zhao, Nima Dehmamy, Robin Walters, Rose Yu
• Abstract要約: 我々は、パラメータが損失レベルセット上で大きな距離を移動できるようにする、異なるアプローチ、対称性のテレポーテーションについて研究する。 テスト関数と多層ニューラルネットワークの損失不変群作用を導出し,テレポーテーションが収束率を向上するために必要な条件を証明した。 実験により,テスト関数,多層回帰,MNIST分類などの最適化問題に対して,テレポーテーションにより勾配降下とAdaGradの収束速度が向上することを示した。
• 参考スコア（独自算出の注目度）: 21.989906418276906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing gradient-based optimization methods update the parameters locally, in a direction that minimizes the loss function. We study a different approach, symmetry teleportation, that allows the parameters to travel a large distance on the loss level set, in order to improve the convergence speed in subsequent steps. Teleportation exploits parameter space symmetries of the optimization problem and transforms parameters while keeping the loss invariant. We derive the loss-invariant group actions for test functions and multi-layer neural networks, and prove a necessary condition of when teleportation improves convergence rate. We also show that our algorithm is closely related to second order methods. Experimentally, we show that teleportation improves the convergence speed of gradient descent and AdaGrad for several optimization problems including test functions, multi-layer regressions, and MNIST classification.
• Abstract（参考訳）: 既存の勾配に基づく最適化手法は、損失関数を最小限にする方向にパラメータをローカルに更新する。 我々は、次のステップにおける収束速度を改善するために、パラメータが損失レベルセット上で大きな距離を移動できるようにする異なるアプローチ、対称性のテレポーテーションを研究する。 テレポーテーションは最適化問題のパラメータ空間対称性を利用して、損失不変性を保ちながらパラメータを変換する。 テスト関数と多層ニューラルネットワークの損失不変群作用を導出し,テレポーテーションが収束率を向上するために必要な条件を証明する。 また,本アルゴリズムは二階法と密接に関連していることを示す。 テレポーテーションは,テスト関数,多層回帰,mnist分類などの最適化問題に対して,勾配降下とアダグラードの収束速度が向上することを示す。

関連論文リスト

• Learning Algorithm Hyperparameters for Fast Parametric Convex Optimization [2.0403774954994858]
  本稿では,一階法のハイパーパラメータ列を学習するための機械学習フレームワークを提案する。 いくつかのアルゴリズムのハイパーパラメータの学習方法を示す。 本稿では,制御,信号処理,機械学習など,多くの例を用いて本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-24T04:58:36Z)
• Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient [12.692064367193934]
  オーバー・ザ・エア(Over-the-air)は、フェデレートラーニング(FL)のための通信効率のよい解である。 このようなシステムでは、プライベート損失関数の反復手順を更新し、すべてのモバイルデバイスで送信する。 この問題を回避するため,局所勾配を正規化して増幅する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T16:15:47Z)
• Improving Convergence and Generalization Using Parameter Symmetries [34.863101622189944]
  異なる曲率を持つミニマへのテレポーティングにより一般化が向上し,最小曲率と一般化能力の関連性が示唆された。 本結果は, テレポーテーションの汎用性を示し, 最適化に対称性を組み込むことの可能性を示した。
  論文  参考訳（メタデータ） (2023-05-22T18:35:42Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization [24.784754071913255]
  適応的手法は、パラメータに依存しない方法でハエの段差を調整する能力を示した。 非凹極小問題に対する勾配上昇の電流収束解析にはパラメータの注意深くチューニングが必要である。
  論文  参考訳（メタデータ） (2022-10-31T17:05:36Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。