論文の概要: Enhance Curvature Information by Structured Stochastic Quasi-Newton Methods

• arxiv url: http://arxiv.org/abs/2006.09606v2
• Date: Thu, 25 Mar 2021 07:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 21:11:33.628780
• Title: Enhance Curvature Information by Structured Stochastic Quasi-Newton Methods
• Title（参考訳）: 構造化確率準ニュートン法によるエンハンス曲率情報
• Authors: Minghan Yang, Dong Xu, Hongyu Chen, Zaiwen Wen and Mengyun Chen
• Abstract要約: 非線型関数の有限和を最小化する2次計算法を考える。 真のヘッセン行列は、しばしば安価な部分と高価な部分の組み合わせであるため、構造化された準ニュートン収束法を提案する。 提案手法は最先端の手法と非常に競合する。
• 参考スコア（独自算出の注目度）: 26.712594117460817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider stochastic second-order methods for minimizing a finite summation of nonconvex functions. One important key is to find an ingenious but cheap scheme to incorporate local curvature information. Since the true Hessian matrix is often a combination of a cheap part and an expensive part, we propose a structured stochastic quasi-Newton method by using partial Hessian information as much as possible. By further exploiting either the low-rank structure or the kronecker-product properties of the quasi-Newton approximations, the computation of the quasi-Newton direction is affordable. Global convergence to stationary point and local superlinear convergence rate are established under some mild assumptions. Numerical results on logistic regression, deep autoencoder networks and deep convolutional neural networks show that our proposed method is quite competitive to the state-of-the-art methods.
• Abstract（参考訳）: 本稿では,非凸関数の有限和を最小化する確率的二階法を考える。 重要な鍵の1つは、局所曲率情報を組み込む巧妙で安価なスキームを見つけることである。 真のヘッセン行列は、しばしば安価な部分と高価な部分の組み合わせであるため、できるだけ部分的ヘッセン情報を用いて構造化された確率的準ニュートン法を提案する。 準ニュートン近似の低ランク構造またはクローネッカー生成特性を更に活用することにより、準ニュートン方向の計算は安価である。 静止点への大域収束と局所超線型収束速度は、いくつかの軽微な仮定の下で確立される。 ロジスティック回帰,ディープオートエンコーダネットワーク,ディープ畳み込みニューラルネットワークの数値計算結果から,提案手法は最先端の手法と非常に競合することを示した。

関連論文リスト

• Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence [20.766358513158206]
  双対性ギャップの観点から、大域収束率を$O(min1/k,sqrtd/k1.25)$とする。 これらの結果は、外勾配法よりも準ニュートン法の証明可能な利点を示す最初の大域収束結果である。
  論文  参考訳（メタデータ） (2024-10-03T16:08:16Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods [37.1630298053787]
  我々はヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。 グローバルな複雑性保証を備えた分散アルゴリズムと二階アルゴリズムの統一的なビューを提供する。
  論文  参考訳（メタデータ） (2023-02-23T12:18:28Z)
• Linear Self-Attention Approximation via Trainable Feedforward Kernel [77.34726150561087]
  高速な計算を追求する中で、効率的なトランスフォーマーは印象的な様々なアプローチを実証している。 我々は,トランスフォーマーアーキテクチャの自己保持機構を近似するために,トレーニング可能なカーネルメソッドのアイデアを拡張することを目指している。
  論文  参考訳（メタデータ） (2022-11-08T08:14:11Z)
• Bayesian inference via sparse Hamiltonian flows [16.393322369105864]
  ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える、小さな重み付きデータサブセットである。 現在の手法は遅い傾向にあり、コアセットの構築後に二次的な推論ステップが必要であり、データ限界の証拠には限界がない。 これら3つの課題に対処する新しい手法、スパース・ハミルトン流を導入する。
  論文  参考訳（メタデータ） (2022-03-11T02:36:59Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
  大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。 本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。 局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-12T01:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。