論文の概要: Gradient flows and randomised thresholding: sparse inversion and
classification
- arxiv url: http://arxiv.org/abs/2203.11555v1
- Date: Tue, 22 Mar 2022 09:21:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 15:37:26.656187
- Title: Gradient flows and randomised thresholding: sparse inversion and
classification
- Title（参考訳）: 勾配流とランダム化しきい値:スパース反転と分類
- Authors: Jonas Latz
- Abstract要約: スパースインバージョンと分類問題は、現代のデータサイエンスとイメージングにおいて至るところに存在している。
分類において、例えば、データの忠実度項と非滑らかなギンズバーグ-ランダウエネルギーの和を考える。
標準(サブ)勾配降下法はそのような問題にアプローチする際に非効率であることが示されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse inversion and classification problems are ubiquitous in modern data
science and imaging. They are often formulated as non-smooth minimisation
problems. In sparse inversion, we minimise, e.g., the sum of a data fidelity
term and an L1/LASSO regulariser. In classification, we consider, e.g., the sum
of a data fidelity term and a non-smooth Ginzburg--Landau energy. Standard
(sub)gradient descent methods have shown to be inefficient when approaching
such problems. Splitting techniques are much more useful: here, the target
function is partitioned into a sum of two subtarget functions -- each of which
can be efficiently optimised. Splitting proceeds by performing optimisation
steps alternately with respect to each of the two subtarget functions.
In this work, we study splitting from a stochastic continuous-time
perspective. Indeed, we define a differential inclusion that follows one of the
two subtarget function's negative subgradient at each point in time. The choice
of the subtarget function is controlled by a binary continuous-time Markov
process. The resulting dynamical system is a stochastic approximation of the
underlying subgradient flow. We investigate this stochastic approximation for
an L1-regularised sparse inversion flow and for a discrete Allen-Cahn equation
minimising a Ginzburg--Landau energy. In both cases, we study the longtime
behaviour of the stochastic dynamical system and its ability to approximate the
underlying subgradient flow at any accuracy. We illustrate our theoretical
findings in a simple sparse estimation problem and also in a low-dimensional
classification problem.
- Abstract（参考訳）: スパース反転と分類問題は、現代のデータサイエンスとイメージングにおいてユビキタスである。
これらはしばしば非スムース最小化問題として定式化される。
スパース反転では、例えばデータ忠実度項の和とL1/LASSO正規化器を最小化する。
分類において、例えば、データ忠実性項と非スムースギンツブルク-ランダウエネルギーの和を考える。標準(sub)勾配降下法は、そのような問題に近づくと非効率であることが示されている。分割技術はより有用である。ここで、対象関数は2つの部分対象関数の和に分割され、それぞれを効率的に最適化することができる。
2つのサブターゲット関数のそれぞれについて、最適化ステップを交互に実行する。
本研究では,確率的連続時間の観点からの分割について検討する。
実際、各点における2つの部分ターゲット関数の負の下位勾配の1つに従う差分包含を定義する。
サブターゲット関数の選択はバイナリ連続時間マルコフプロセスによって制御される。
結果として生じる力学系は、下降流の確率的近似である。
本稿では,L1規則化スパース逆流の確率近似と,ギンズバーグ-ランダウエネルギーを最小化する離散アレン-カーン方程式について検討する。
いずれの場合においても,確率力学系の長期挙動と,その基礎となる準次流を任意の精度で近似する能力について検討した。
我々は,単純なスパース推定問題と低次元分類問題において,理論的な知見を示す。
関連論文リスト
- Pathwise optimization for bridge-type estimators and its applications [49.1574468325115]
パスワイズ法は、ペナライズされた推定器の完全な経路を効率的に計算することができる。
これらのアルゴリズムを離散時間で観測されたプロセスのペナル化推定に適用する。
論文 参考訳（メタデータ） (2024-12-05T10:38:29Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [None]
本稿では,上層関数が非非有界な滑らかさであり,下層関数が強く凸であるような二層最適化問題のクラスについて検討する。
これらの問題は、ニューラルネットワークを用いたテキスト分類など、データ学習に大きな応用がある。
論文 参考訳（メタデータ） (2024-09-28T02:30:44Z) - Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization [8.879403568685499]
パラメータの平滑化に適応的な更新戦略を導入する。
この振る舞いは、アルゴリズムを数回繰り返した後に、効果的に問題を解決するものに変えます。
すべてのイテレーションが重要なものであることを保証し、グローバルに提案された実験を証明します。
論文 参考訳（メタデータ） (2024-06-22T02:37:13Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳（メタデータ） (2023-10-30T17:55:28Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Subgradient methods near active manifolds: saddle point avoidance, local
convergence, and asymptotic normality [4.709588811674973]
目的と段階的近似が問題のスムーズな部分構造を完全に表すことを示す。
コーン可逆/分解可能関数や一般半代数問題など、これらの性質が幅広い問題に対して成り立つことを証明している。
正規性の結果は、最も古典的な設定でも新しいように見える。
論文 参考訳（メタデータ） (2021-08-26T15:02:16Z) - A Retrospective Approximation Approach for Smooth Stochastic
Optimization [0.2867517731896504]
グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
論文 参考訳（メタデータ） (2021-03-07T16:29:36Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-14T10:42:23Z) - Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。
座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
論文 参考訳（メタデータ） (2020-03-30T20:44:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。