論文の概要: Online Non-Stationary Stochastic Quasar-Convex Optimization

• arxiv url: http://arxiv.org/abs/2407.03601v1
• Date: Thu, 4 Jul 2024 03:24:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 19:21:33.471804
• Title: Online Non-Stationary Stochastic Quasar-Convex Optimization
• Title（参考訳）: Online Non-Stationary Stochastic Quasar-Convex Optimization
• Authors: Yuen-Man Pun, Iman Shames,
• Abstract要約: 近年の研究では、線形系やロジスティック系の同定などの応用において、クエーサー活性化関数が見つかることが示されている。 動的環境におけるクエーサーにインスパイアされた設計問題を利用するアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 1.9244735303181755
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent research has shown that quasar-convexity can be found in applications such as identification of linear dynamical systems and generalized linear models. Such observations have in turn spurred exciting developments in design and analysis algorithms that exploit quasar-convexity. In this work, we study the online stochastic quasar-convex optimization problems in a dynamic environment. We establish regret bounds of online gradient descent in terms of cumulative path variation and cumulative gradient variance for losses satisfying quasar-convexity and strong quasar-convexity. We then apply the results to generalized linear models (GLM) when the underlying parameter is time-varying. We establish regret bounds of online gradient descent when applying to GLMs with leaky ReLU activation function, logistic activation function, and ReLU activation function. Numerical results are presented to corroborate our findings.
• Abstract（参考訳）: 近年の研究では、線形力学系の同定や一般化線形モデルなどの応用において、準凸性が見られることが示されている。 このような観測により、クエーサーの凸性を利用する設計と分析アルゴリズムのエキサイティングな発展が加速された。 本研究では,動的環境におけるオンライン確率的準凸最適化問題について検討する。 擬似凸性および強い擬似凸性を満たす損失に対する累積経路変動および累積勾配変動の観点から、オンライン勾配勾配の残差を定めている。 次に,基本パラメータが時間変化している場合の一般化線形モデル (GLM) に適用する。 流出したReLUアクティベーション関数,ロジスティックアクティベーション関数,およびReLUアクティベーション関数を有するGLMに適用した場合,オンライン勾配降下の致命的限界を確立する。 以上の知見を裏付ける数値的な結果が得られた。

関連論文リスト

• Constrained Exploration via Reflected Replica Exchange Stochastic Gradient Langevin Dynamics [10.290462113848054]
  ReSGLDは、大規模データセットの非二乗学習タスクに有効なツールである。 制約付きマルチモーダル分布と画像分類におけるシミュレーション効率の役割について検討する。
  論文  参考訳（メタデータ） (2024-05-13T15:25:03Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Distributionally Time-Varying Online Stochastic Optimization under Polyak-{\L}ojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning [9.749745086213215]
  オンライン最適化のレンズによる時間変化分布に続き、一連の最適化問題を考察する。 本研究では,CVaR学習問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-18T00:47:08Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
  ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。 特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
  論文  参考訳（メタデータ） (2022-06-23T08:29:17Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。