論文の概要: Stochastic Langevin Differential Inclusions with Applications to Machine Learning
- arxiv url: http://arxiv.org/abs/2206.11533v3
- Date: Sun, 12 May 2024 14:32:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 02:01:31.918352
- Title: Stochastic Langevin Differential Inclusions with Applications to Machine Learning
- Title（参考訳）: 確率的ランゲヴィン差分包と機械学習への応用
- Authors: Fabio V. Difonzo, Vyacheslav Kungurtsev, Jakub Marecek,
- Abstract要約: ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。
特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
- 参考スコア（独自算出の注目度）: 5.274477003588407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic differential equations of Langevin-diffusion form have received significant attention, thanks to their foundational role in both Bayesian sampling algorithms and optimization in machine learning. In the latter, they serve as a conceptual model of the stochastic gradient flow in training over-parameterized models. However, the literature typically assumes smoothness of the potential, whose gradient is the drift term. Nevertheless, there are many problems for which the potential function is not continuously differentiable, and hence the drift is not Lipschitz continuous everywhere. This is exemplified by robust losses and Rectified Linear Units in regression problems. In this paper, we show some foundational results regarding the flow and asymptotic properties of Langevin-type Stochastic Differential Inclusions under assumptions appropriate to the machine-learning settings. In particular, we show strong existence of the solution, as well as an asymptotic minimization of the canonical free-energy functional.
- Abstract（参考訳）: ランゲヴィン拡散形式の確率微分方程式は、ベイズサンプリングアルゴリズムと機械学習における最適化の両方において基礎的な役割を担っているため、大きな注目を集めている。
後者では、過パラメータ化モデルのトレーニングにおいて、確率勾配流の概念モデルとして機能する。
しかしながら、文献は通常、勾配がドリフト項であるポテンシャルの滑らかさを仮定する。
それでも、ポテンシャル函数が連続的に微分可能でないような問題が多く、したがってドリフトは至る所でリプシッツ連続ではない。
これは、リグレッション問題におけるロバストな損失とRectified Linear Unitsによって実証される。
本稿では,Langevin型確率微分包摂のフローと漸近特性に関する基礎的な結果を示す。
特に、この解の強い存在を示すとともに、標準自由エネルギー関数の漸近最小化を示す。
関連論文リスト
- Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。
我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
論文 参考訳（メタデータ） (2024-10-10T17:10:00Z) - Online Non-Stationary Stochastic Quasar-Convex Optimization [1.9244735303181755]
近年の研究では、線形系やロジスティック系の同定などの応用において、クエーサー活性化関数が見つかることが示されている。
動的環境におけるクエーサーにインスパイアされた設計問題を利用するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-07-04T03:24:27Z) - BrowNNe: Brownian Nonlocal Neurons & Activation Functions [0.0]
低トレーニングデータにおけるブラウンニューラルアクティベーション関数がReLUに勝っていることを示す。
本実験は,低トレーニングデータにおけるブラウン神経活性化機能の優れた機能を示す。
論文 参考訳（メタデータ） (2024-06-21T19:40:30Z) - A Functional Model Method for Nonconvex Nonsmooth Conditional Stochastic Optimization [0.0]
本稿では, 基底乱ベクトルの非線形関数の期待値と, 基底乱ベクトルに依存する他の関数の条件付き期待値を含む最適化問題を考察する。
本研究では, 外部関数が滑らかで, 内部関数が異なる非制約学習問題に対して, 特殊な単一スケール法を提案する。
論文 参考訳（メタデータ） (2024-05-17T14:35:50Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - On Uniform Boundedness Properties of SGD and its Momentum Variants [38.41217525394239]
勾配勾配勾配アルゴリズムの軌道に沿った反復率と関数値の均一な有界性について検討する。
広範に使われているステップデカイやコサインを含むステップサイズファミリーがステップサイズを再起動する(あるいは使用しない)ことは、一様有界な反復と関数値をもたらすことを示す。
論文 参考訳（メタデータ） (2022-01-25T11:34:56Z) - Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。
この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。
例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
論文 参考訳（メタデータ） (2021-06-08T13:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。