論文の概要: Improving Convergence and Generalization Using Parameter Symmetries
- arxiv url: http://arxiv.org/abs/2305.13404v1
- Date: Mon, 22 May 2023 18:35:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 21:09:25.719165
- Title: Improving Convergence and Generalization Using Parameter Symmetries
- Title（参考訳）: パラメータ対称性を用いた収束と一般化の改善
- Authors: Bo Zhao, Robert M. Gower, Robin Walters, Rose Yu
- Abstract要約: 異なる曲率を持つミニマへのテレポーティングは、一般化を改善し、ミニマの曲率と一般化能力の関連性についての洞察を提供する。
また、テレポーテーションを幅広い最適化アルゴリズムに統合し、最適化に基づくメタラーニングにより収束が向上することを示す。
- 参考スコア（独自算出の注目度）: 25.488278051190644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In overparametrized models, different values of the parameters may result in
the same loss value. Parameter space symmetries are transformations that change
the model parameters but leave the loss invariant. Teleportation applies such
transformations to accelerate optimization. However, the exact mechanism behind
this algorithm's success is not well understood. In this paper, we show that
teleportation not only speeds up optimization in the short-term, but gives
overall faster time to convergence. Additionally, we show that teleporting to
minima with different curvatures improves generalization and provide insights
on the connection between the curvature of the minima and generalization
ability. Finally, we show that integrating teleportation into a wide range of
optimization algorithms and optimization-based meta-learning improves
convergence.
- Abstract（参考訳）: 過パラメータモデルでは、パラメータの異なる値が同じ損失値になる可能性がある。
パラメータ空間対称性はモデルパラメータを変更するが損失不変量を残す変換である。
テレポーテーションは最適化を加速するためにこのような変換を適用する。
しかし、このアルゴリズムの成功の正確なメカニズムはよく理解されていない。
本稿では,テレポーテーションが短期最適化を高速化するだけでなく,全体の収束時間を短縮することを示す。
さらに,曲率の異なるミニマへのテレポーティングによって一般化が改善され,ミニマの曲率と一般化能力の関係についての洞察が得られることを示した。
最後に、テレポーテーションを幅広い最適化アルゴリズムに統合し、最適化に基づくメタラーニングにより収束を改善することを示す。
関連論文リスト
- Symmetry-informed transferability of optimal parameters in the Quantum Approximate Optimization Algorithm [0.0]
最適パラメータの任意の集合を、対称性を用いて適切な領域に変換する方法を示す。
これらの結果は、関連する物理モデルに対してIsatzing Hamiltonian variational ansatzによって記述された一般的な古典的最適化問題に拡張する。
論文 参考訳（メタデータ） (2024-07-05T13:37:53Z) - Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。
これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。
我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文 参考訳（メタデータ） (2024-03-07T23:00:49Z) - Reducing measurement costs by recycling the Hessian in adaptive variational quantum algorithms [0.0]
本稿では,適応VQAに適した準ニュートン最適化プロトコルを提案する。
我々は,適応VQAの繰り返しを通じて,逆ヘッセン行列に対する近似を連続的に構築し,成長させる準ニュートンアルゴリズムを実装した。
論文 参考訳（メタデータ） (2024-01-10T14:08:04Z) - Symmetry Teleportation for Accelerated Optimization [21.989906418276906]
我々は、パラメータが損失レベルセット上で大きな距離を移動できるようにする、異なるアプローチ、対称性のテレポーテーションについて研究する。
テスト関数と多層ニューラルネットワークの損失不変群作用を導出し,テレポーテーションが収束率を向上するために必要な条件を証明した。
実験により,テスト関数,多層回帰,MNIST分類などの最適化問題に対して,テレポーテーションにより勾配降下とAdaGradの収束速度が向上することを示した。
論文 参考訳（メタデータ） (2022-05-21T16:39:21Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart
for Nonconvex Optimization [73.38702974136102]
アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。
本論文では,非滑らかな問題を解くアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:06:27Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。