論文の概要: Quasi-Newton's method in the class gradient defined high-curvature subspace

• arxiv url: http://arxiv.org/abs/2012.01938v1
• Date: Sat, 28 Nov 2020 20:13:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 19:37:33.261839
• Title: Quasi-Newton's method in the class gradient defined high-curvature subspace
• Title（参考訳）: クラス勾配定義高曲率部分空間における準ニュートン法
• Authors: Mark Tuddenham and Adam Pr\"ugel-Bennett and Jonathan Hare
• Abstract要約: ディープラーニングの分類問題は、クラス数に等しい次元のロスランドスケープに高い曲率のサブスペースがあることが示されている。 最適化を高速化するための明らかな戦略は、ニュートン法をコ空間の高曲率部分空間と勾配降下に使用することである。 直感的な実装が実際に収束を遅らせていることを示し、その理由を推測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classification problems using deep learning have been shown to have a high-curvature subspace in the loss landscape equal in dimension to the number of classes. Moreover, this subspace corresponds to the subspace spanned by the logit gradients for each class. An obvious strategy to speed up optimisation would be to use Newton's method in the high-curvature subspace and stochastic gradient descent in the co-space. We show that a naive implementation actually slows down convergence and we speculate why this might be.
• Abstract（参考訳）: ディープラーニングを用いた分類問題は、クラス数に等しい次元のロスランドスケープに高い曲率のサブスペースがあることが示されている。 さらに、この部分空間は各クラスのロジット勾配で区切られた部分空間に対応する。 最適化を高速化するための明らかな戦略は、ニュートン法をコ空間の高曲率部分空間と確率勾配降下に使用することである。 直感的な実装が実際に収束を遅らせていることを示し、その理由を推測する。

関連論文リスト

• A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning [24.111048817721592]
  フェデレートラーニングは分散勾配降下技術に大きく依存している。 勾配情報が得られない状況では、勾配をゼロ次情報から推定する必要がある。 勾配推定法を改善するための非等方的サンプリング法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T10:36:40Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Graph-Embedded Subspace Support Vector Data Description [98.78559179013295]
  一クラス分類のための新しいサブスペース学習フレームワークを提案する。 提案されたフレームワークはグラフ埋め込みという形で問題を提示する。 ベースラインに対する改善されたパフォーマンスと、最近提案された1クラス分類のためのサブスペース学習方法を示す。
  論文  参考訳（メタデータ） (2021-04-29T14:30:48Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Ellipsoidal Subspace Support Vector Data Description [98.67884574313292]
  一クラス分類に最適化された低次元空間にデータを変換する新しい手法を提案する。 提案手法の線形および非線形の定式化について述べる。 提案手法は,最近提案されたサブスペースサポートベクトルデータ記述よりもはるかに高速に収束する。
  論文  参考訳（メタデータ） (2020-03-20T21:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。