論文の概要: Improving Energy Conserving Descent for Machine Learning: Theory and
Practice
- arxiv url: http://arxiv.org/abs/2306.00352v1
- Date: Thu, 1 Jun 2023 05:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 18:09:39.801280
- Title: Improving Energy Conserving Descent for Machine Learning: Theory and
Practice
- Title（参考訳）: 機械学習のためのエネルギー保存降下の改善--理論と実践
- Authors: G. Bruno De Luca, Alice Gatti, Eva Silverstein
- Abstract要約: 我々は,エネルギーコンドネッサンス理論(ECD)を開発し,凸非保存問題に対処可能な勾配に基づく最適化アルゴリズムであるECDSepを導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop the theory of Energy Conserving Descent (ECD) and introduce
ECDSep, a gradient-based optimization algorithm able to tackle convex and
non-convex optimization problems. The method is based on the novel ECD
framework of optimization as physical evolution of a suitable chaotic
energy-conserving dynamical system, enabling analytic control of the
distribution of results - dominated at low loss - even for generic
high-dimensional problems with no symmetries. Compared to previous realizations
of this idea, we exploit the theoretical control to improve both the dynamics
and chaos-inducing elements, enhancing performance while simplifying the
hyper-parameter tuning of the optimization algorithm targeted to different
classes of problems. We empirically compare with popular optimization methods
such as SGD, Adam and AdamW on a wide range of machine learning problems,
finding competitive or improved performance compared to the best among them on
each task. We identify limitations in our analysis pointing to possibilities
for additional improvements.
- Abstract（参考訳）: 本研究では, エネルギー保存 Descent (ECD) の理論を開発し, 凸および非凸最適化問題に対処可能な勾配最適化アルゴリズム ECDSep を導入する。
この方法は、最適なカオスエネルギー保存力学系の物理進化としての最適化の新たなecdフレームワークに基づいており、対称性のない一般的な高次元問題であっても、低損失で支配される結果の分布を解析的に制御することができる。
この概念の従来の実現と比べ,動的要素とカオス誘導要素の両方を改善する理論制御を利用して,最適化アルゴリズムのハイパーパラメータチューニングを簡素化し,性能を向上させる。
我々は、SGD、Adam、AdamWといった一般的な最適化手法を、幅広い機械学習問題に対して経験的に比較し、各タスクにおける最高の結果と比較して、競争力やパフォーマンスの向上を見出した。
さらなる改善の可能性を示す分析の限界を特定します。
関連論文リスト
- Integrating Chaotic Evolutionary and Local Search Techniques in Decision Space for Enhanced Evolutionary Multi-Objective Optimization [1.8130068086063336]
本稿では,SOMMOP(Single-Objective Multi-Modal Optimization)とMOO(Multi-Objective Optimization)の両方に焦点を当てる。
SOMMOPではニッチ技術とカオス進化を統合し,ガウス突然変異を併用したパーシスタンス・クラスタリングを行った。
MOOでは,これらの手法を不確実性に基づく選択,適応的チューニングを組み込んだ包括的フレームワークに拡張し,決定論的群集に半径(R)の概念を導入する。
論文 参考訳（メタデータ） (2024-11-12T15:18:48Z) - Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。
提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
論文 参考訳（メタデータ） (2024-09-14T00:39:37Z) - Primitive Agentic First-Order Optimization [0.0]
本研究では,一階強化学習として,原始状態表現とエージェント環境相互作用を組み合わせた概念実証研究を提案する。
その結果,RLに基づく最適化では,基本的RL法と簡潔な部分的状態表現を組み合わせることで,複雑性の管理を最適化できることがわかった。
論文 参考訳（メタデータ） (2024-06-07T11:13:38Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Quantum variational optimization: The role of entanglement and problem
hardness [0.0]
本稿では, 絡み合いの役割, 変動量子回路の構造, 最適化問題の構造について検討する。
数値計算の結果,絡み合うゲートの分布を問題のトポロジに適応させる利点が示唆された。
リスク型コスト関数に条件値を適用することで最適化が向上し、最適解と重複する確率が増大することを示す。
論文 参考訳（メタデータ） (2021-03-26T14:06:54Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm
for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。
これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。
その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文 参考訳（メタデータ） (2020-07-09T10:19:22Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。