論文の概要: Improving Convergence and Generalization Using Parameter Symmetries

• arxiv url: http://arxiv.org/abs/2305.13404v3
• Date: Sat, 13 Apr 2024 18:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 00:17:02.257893
• Title: Improving Convergence and Generalization Using Parameter Symmetries
• Title（参考訳）: パラメータ対称性を用いた収束と一般化の改善
• Authors: Bo Zhao, Robert M. Gower, Robin Walters, Rose Yu,
• Abstract要約: 異なる曲率を持つミニマへのテレポーティングにより一般化が向上し,最小曲率と一般化能力の関連性が示唆された。 本結果は, テレポーテーションの汎用性を示し, 最適化に対称性を組み込むことの可能性を示した。
• 参考スコア（独自算出の注目度）: 34.863101622189944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many neural networks, different values of the parameters may result in the same loss value. Parameter space symmetries are loss-invariant transformations that change the model parameters. Teleportation applies such transformations to accelerate optimization. However, the exact mechanism behind this algorithm's success is not well understood. In this paper, we show that teleportation not only speeds up optimization in the short-term, but gives overall faster time to convergence. Additionally, teleporting to minima with different curvatures improves generalization, which suggests a connection between the curvature of the minimum and generalization ability. Finally, we show that integrating teleportation into a wide range of optimization algorithms and optimization-based meta-learning improves convergence. Our results showcase the versatility of teleportation and demonstrate the potential of incorporating symmetry in optimization.
• Abstract（参考訳）: 多くのニューラルネットワークでは、パラメータの異なる値が同じ損失値をもたらすことがある。 パラメータ空間対称性は、モデルパラメータを変更する損失不変変換である。 テレポーテーションは最適化を加速するためにそのような変換を適用する。 しかし、このアルゴリズムの成功の正確なメカニズムはよく理解されていない。 本稿では,テレポーテーションが短期最適化を高速化するだけでなく,全体の収束時間を短縮することを示す。 さらに、異なる曲率を持つミニマへのテレポートは一般化を改善し、最小曲率と一般化能力の接続を示唆する。 最後に、テレポーテーションを広範囲の最適化アルゴリズムに統合し、最適化に基づくメタラーニングにより収束を改善することを示す。 本結果は, テレポーテーションの汎用性を示し, 最適化に対称性を組み込むことの可能性を示した。

関連論文リスト

• Symmetry-informed transferability of optimal parameters in the Quantum Approximate Optimization Algorithm [0.0]
  最適パラメータの任意の集合を、対称性を用いて適切な領域に変換する方法を示す。 これらの結果は、関連する物理モデルに対してIsatzing Hamiltonian variational ansatzによって記述された一般的な古典的最適化問題に拡張する。
  論文  参考訳（メタデータ） (2024-07-05T13:37:53Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Reducing measurement costs by recycling the Hessian in adaptive variational quantum algorithms [0.0]
  本稿では,適応VQAに適した準ニュートン最適化プロトコルを提案する。 我々は,適応VQAの繰り返しを通じて,逆ヘッセン行列に対する近似を連続的に構築し,成長させる準ニュートンアルゴリズムを実装した。
  論文  参考訳（メタデータ） (2024-01-10T14:08:04Z)
• Symmetry Teleportation for Accelerated Optimization [21.989906418276906]
  我々は、パラメータが損失レベルセット上で大きな距離を移動できるようにする、異なるアプローチ、対称性のテレポーテーションについて研究する。 テスト関数と多層ニューラルネットワークの損失不変群作用を導出し,テレポーテーションが収束率を向上するために必要な条件を証明した。 実験により,テスト関数,多層回帰,MNIST分類などの最適化問題に対して,テレポーテーションにより勾配降下とAdaGradの収束速度が向上することを示した。
  論文  参考訳（メタデータ） (2022-05-21T16:39:21Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。