論文の概要: Optimizing Optimizers for Fast Gradient-Based Learning

• arxiv url: http://arxiv.org/abs/2512.06370v1
• Date: Sat, 06 Dec 2025 09:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.327988
• Title: Optimizing Optimizers for Fast Gradient-Based Learning
• Title（参考訳）: 高速勾配学習のための最適化アルゴリズム
• Authors: Jaerin Lee, Kyoung Mu Lee,
• Abstract要約: 勾配学習における設計の自動化に関する理論的基礎を築いた。 勾配損失信号をパラメータ運動に変換する関数として扱うことにより、この問題は凸最適化問題の族に還元される。
• 参考スコア（独自算出の注目度）: 53.81268610971847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We lay the theoretical foundation for automating optimizer design in gradient-based learning. Based on the greedy principle, we formulate the problem of designing optimizers as maximizing the instantaneous decrease in loss. By treating an optimizer as a function that translates loss gradient signals into parameter motions, the problem reduces to a family of convex optimization problems over the space of optimizers. Solving these problems under various constraints not only recovers a wide range of popular optimizers as closed-form solutions, but also produces the optimal hyperparameters of these optimizers with respect to the problems at hand. This enables a systematic approach to design optimizers and tune their hyperparameters according to the gradient statistics that are collected during the training process. Furthermore, this optimization of optimization can be performed dynamically during training.
• Abstract（参考訳）: 勾配学習における最適化設計の自動化に関する理論的基礎を築いた。 欲求原理に基づいて,損失の即時減少を最大化するために最適化器を設計する問題を定式化する。 損失勾配信号をパラメータ運動に変換する関数としてオプティマイザを扱い、オプティマイザの空間上の凸最適化問題の族に還元する。 これらの問題を様々な制約の下で解くことは、クローズドフォームソリューションとして広く使われているオプティマイザを回復させるだけでなく、目の前の問題に関してこれらのオプティマイザの最適ハイパーパラメータを生成する。 これにより、トレーニングプロセス中に収集された勾配統計に従って、オプティマイザを設計し、ハイパーパラメータを調整するための体系的なアプローチが可能になる。 さらに、この最適化はトレーニング中に動的に行うことができる。

関連論文リスト

• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• A Nonstochastic Control Approach to Optimization [26.744354103012448]
  制御前提条件からの最近の手法が凸ノリティの課題を克服できることを示す。 メソッドのクラスから、類似の結果を後見で得る方法を学ぶことができる。
  論文  参考訳（メタデータ） (2023-01-19T06:08:01Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Speeding up Computational Morphogenesis with Online Neural Synthetic Gradients [51.42959998304931]
  現代科学および工学の適用の広い範囲は制約として部分的な微分方程式(PDEs)のシステムとの最適化問題として定式化されます。 これらのPDE制約最適化問題は通常、標準のDisretize-then-optimizeアプローチで解決される。 オンラインニューラル合成勾配(ONSG)を用いたPDE制約最適化の高速化のための新しい2スケール最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-25T22:43:51Z)
• Learning to Optimize Under Constraints with Unsupervised Deep Neural Networks [0.0]
  機械学習(ML)手法を提案し,汎用的制約付き連続最適化問題の解法を学習する。 本稿では,制約付き最適化問題をリアルタイムに解くための教師なしディープラーニング(DL)ソリューションを提案する。
  論文  参考訳（メタデータ） (2021-01-04T02:58:37Z)
• Optimizing Optimizers: Regret-optimal gradient descent algorithms [9.89901717499058]
  我々は,後悔最適アルゴリズムの存在,一意性,一貫性について検討する。 制御問題に対する一階最適条件を提供することにより、後悔最適アルゴリズムはそれらの力学において特定の構造を満たす必要があることを示す。 それらを近似する高速な数値法を提案し,長期的後悔を直接最適化する最適化アルゴリズムを生成する。
  論文  参考訳（メタデータ） (2020-12-31T19:13:53Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。