論文の概要: Faster Adaptive Optimization via Expected Gradient Outer Product Reparameterization

• arxiv url: http://arxiv.org/abs/2502.01594v1
• Date: Mon, 03 Feb 2025 18:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:53:24.618321
• Title: Faster Adaptive Optimization via Expected Gradient Outer Product Reparameterization
• Title（参考訳）: グラディエント外部製品再パラメータ化による適応最適化の高速化
• Authors: Adela DePavia, Vasileios Charisopoulos, Rebecca Willett,
• Abstract要約: 本研究では,多種多様な関数に対して,EGOP行列スペクトルの減衰の影響を受け,適応アルゴリズムの選択に対する感度の影響を示す。
• 参考スコア（独自算出の注目度）: 11.394969272703014
• License:
• Abstract: Adaptive optimization algorithms -- such as Adagrad, Adam, and their variants -- have found widespread use in machine learning, signal processing and many other settings. Several methods in this family are not rotationally equivariant, meaning that simple reparameterizations (i.e. change of basis) can drastically affect their convergence. However, their sensitivity to the choice of parameterization has not been systematically studied; it is not clear how to identify a "favorable" change of basis in which these methods perform best. In this paper we propose a reparameterization method and demonstrate both theoretically and empirically its potential to improve their convergence behavior. Our method is an orthonormal transformation based on the expected gradient outer product (EGOP) matrix, which can be approximated using either full-batch or stochastic gradient oracles. We show that for a broad class of functions, the sensitivity of adaptive algorithms to choice-of-basis is influenced by the decay of the EGOP matrix spectrum. We illustrate the potential impact of EGOP reparameterization by presenting empirical evidence and theoretical arguments that common machine learning tasks with "natural" data exhibit EGOP spectral decay.
• Abstract（参考訳）: AdagradやAdamなどの適応最適化アルゴリズムは、機械学習、信号処理、その他多くの設定で広く使われている。 この族におけるいくつかの手法は回転同変ではなく、つまり単純な再パラメータ化(つまり基底の変化)がそれらの収束に大きな影響を及ぼすことを意味する。 しかしながら、パラメータ化の選択に対する感度は体系的に研究されていない。 本稿では,再パラメータ化手法を提案し,その収束挙動を改善するための理論的および実証的な可能性を示す。 本手法は,全バッチあるいは確率的勾配オラクルを用いて近似できるEGOP行列に基づく正規正規変換である。 本研究では,多種多様な関数に対して,EGOP行列スペクトルの減衰の影響を受け,適応アルゴリズムの選択に対する感度の影響を示す。 実験的なエビデンスと理論的論証を提示することにより, EGOP再パラメータ化の潜在的影響を考察し, 「自然」データを用いた機械学習タスクがEGOPスペクトル減衰を示すことを示した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Joint State Estimation and Noise Identification Based on Variational Optimization [8.536356569523127]
  CVIAKFと呼ばれる共役計算変分推論に基づく新しい適応カルマンフィルタ法を提案する。 CVIAKFの有効性は、目標追尾のための合成および実世界のデータセットを通して検証される。
  論文  参考訳（メタデータ） (2023-12-15T07:47:03Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• An Adaptive Alternating-direction-method-based Nonnegative Latent Factor Model [2.857044909410376]
  交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。 本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。 産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
  論文  参考訳（メタデータ） (2022-04-11T03:04:26Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
  興味のある変数に不変な学習表現に対して,損失のクラスを導入する。 外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
  論文  参考訳（メタデータ） (2021-02-16T18:29:28Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Group Equivariant Deep Reinforcement Learning [4.997686360064921]
  我々は、RLエージェントの訓練に同変CNNを用い、変換同変Q値近似のための誘導バイアスについて検討する。 我々は,RLエージェントの性能と試料効率を高対称な環境下で劇的に向上させることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T02:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。