論文の概要: Born-Infeld (BI) for AI: Energy-Conserving Descent (ECD) for Optimization

• arxiv url: http://arxiv.org/abs/2201.11137v1
• Date: Wed, 26 Jan 2022 19:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 14:43:18.965847
• Title: Born-Infeld (BI) for AI: Energy-Conserving Descent (ECD) for Optimization
• Title（参考訳）: AIのためのBorn-Infeld(BI) - 最適化のためのエネルギー保存ダイオード(ECD)
• Authors: G. Bruno De Luca and Eva Silverstein
• Abstract要約: 強混合(カオス)状態におけるエネルギー保存ハミルトン力学に基づくフレームワークとその重要な性質を解析的・数値的に紹介する。 プロトタイプは、目的関数に依存するボルン=インフェルド力学の離散化を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel framework for optimization based on energy-conserving Hamiltonian dynamics in a strongly mixing (chaotic) regime and establish its key properties analytically and numerically. The prototype is a discretization of Born-Infeld dynamics, with a squared relativistic speed limit depending on the objective function. This class of frictionless, energy-conserving optimizers proceeds unobstructed until slowing naturally near the minimal loss, which dominates the phase space volume of the system. Building from studies of chaotic systems such as dynamical billiards, we formulate a specific algorithm with good performance on machine learning and PDE-solving tasks, including generalization. It cannot stop at a high local minimum and cannot overshoot the global minimum, yielding an advantage in non-convex loss functions, and proceeds faster than GD+momentum in shallow valleys.
• Abstract（参考訳）: 強混合(カオス)状態におけるエネルギー保存ハミルトニアンダイナミクスに基づく最適化のための新しい枠組みを導入し,解析的および数値的にその重要な特性を確立する。 プロトタイプはボルン=インフェルド力学の離散化であり、目的関数に依存する2乗相対論的速度制限を持つ。 このタイプの摩擦のないエネルギー保存オプティマイザは、システムの位相空間容積を支配する最小損失付近で自然に減速するまで邪魔にならない。 動的ビリヤードなどのカオスシステムの研究から構築し、一般化を含む機械学習やPDE解決タスクに優れた性能を持つ特定のアルゴリズムを定式化する。 局所的な最小値で停止することはできず、グローバルな最小値を上回ることもできず、非凸損失関数の利点となり、浅い谷ではgd+momentumよりも速く進行する。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• GPU-accelerated Optimal Path Planning in Stochastic Dynamic Environments [0.0]
  自律型海洋車両の計画時間とエネルギー最適経路は、運用コストを削減するために不可欠である。 意思決定プロセス(MDP)は、そのような環境でロボットエージェントのシーケンシャルな意思決定のための自然な枠組みを提供する。 我々は、MDPモデルを構築し、MDPを解き、最適なポリシーを演算する効率的なエンドツーエンド高速化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T12:14:34Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Stochastic gradient descent with noise of machine learning type. Part I: Discrete time analysis [0.0]
  勾配降下(SGD)は、現代の機械学習で最も人気のあるアルゴリズムの1つです。 本稿では,エネルギランドスケープの一般的な性質と,機械学習問題で発生するノイズについて論じる。
  論文  参考訳（メタデータ） (2021-05-04T17:52:20Z)
• Fairly Constricted Multi-Objective Particle Swarm Optimization [0.0]
  我々は、指数的平均運動量(EM)を組み込むことで、多目的最適化(MOO)解法(SMPSO)の状態を拡張した。 提案手法は、ZDT, DTLZ, WFG問題スイート間でのSMPSOの性能に一致し、特定のインスタンスにおいてさらに優れる。
  論文  参考訳（メタデータ） (2021-04-10T14:39:59Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• CoolMomentum: A Method for Stochastic Optimization by Langevin Dynamics with Simulated Annealing [23.87373187143897]
  深層学習アプリケーションは、複数の局所ミニマを持つ非目的関数を大域的に最適化する必要がある。 物理シミュレーションでも同様の問題を解くために座標学習アルゴリズムが利用できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T14:44:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。