論文の概要: Border Basis Computation with Gradient-Weighted Norm
- arxiv url: http://arxiv.org/abs/2101.00401v2
- Date: Thu, 14 Jan 2021 05:59:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 07:13:03.669875
- Title: Border Basis Computation with Gradient-Weighted Norm
- Title(参考訳): 勾配重み付きノルムを用いた境界基底計算
- Authors: Hiroshi Kera
- Abstract要約: 退化イデアルの近似境界基底に対する勾配重み付き正規化を提案する。
わずかな修正で、係数正規化を伴うアルゴリズムの解析は、勾配重み付き正規化と共に機能する。
- 参考スコア(独自算出の注目度): 5.863264019032882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalization of polynomials plays an essential role in the approximate basis
computation of vanishing ideals. In computer algebra, coefficient
normalization, which normalizes a polynomial by its coefficient norm, is the
most common method. In this study, we propose gradient-weighted normalization
for the approximate border basis computation of vanishing ideals, inspired by
the recent results in machine learning. The data-dependent nature of
gradient-weighted normalization leads to powerful properties such as better
stability against perturbation and consistency in the scaling of input points,
which cannot be attained by the conventional coefficient normalization. With a
slight modification, the analysis of algorithms with coefficient normalization
still works with gradient-weighted normalization and the time complexity does
not change. We also provide an upper bound on the coefficient norm based on the
gradient-weighted norm, which allows us to discuss the approximate border bases
with gradient-weighted normalization from the perspective of the coefficient
norm.
- Abstract(参考訳): 多項式の正規化は、消滅するイデアルの近似基底計算において重要な役割を果たす。
コンピュータ代数において、多項式をその係数ノルムで正規化する係数正規化は最も一般的な方法である。
本研究では,機械学習の最近の成果に触発された,消滅するイデアルの近似境界基底計算のための勾配重み付き正規化を提案する。
勾配重み付き正規化のデータ依存的性質は、従来の係数正規化では達成できない入力点のスケーリングにおける摂動に対する安定性や一貫性の向上といった強力な性質をもたらす。
若干の修正を加えれば、係数正規化を伴うアルゴリズムの解析は勾配重み付き正規化で引き続き機能し、時間複雑性は変わらない。
また、勾配重み付きノルムに基づく係数ノルムの上界も提供し、係数ノルムの観点から、勾配重み付き正規化による近似境界ベースを議論することができる。
関連論文リスト
- Generalization Error of First-Order Methods for Statistical Learning
with Generic Oracles [15.710088225806299]
統計的学習のための一階最適化アルゴリズムの一般化誤差の解析のためのフレームワークを提供する。
標準的な教師付き学習では、バッチサイズの増加とウォームスタートによるミニバッチ勾配降下が、乗算係数に最適な一般化誤差に達することが示されている。
論文 参考訳(メタデータ) (2023-07-10T16:29:05Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - The Implicit Bias of Batch Normalization in Linear Models and Two-layer
Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。
また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文 参考訳(メタデータ) (2023-06-20T16:58:00Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - Robust Implicit Regularization via Weight Normalization [6.042206709451915]
重み正規化は、重みが実質的に大規模であっても持続する頑健なバイアスを可能にすることを示す。
実験により, 暗黙バイアスの収束速度とロバスト性の両方の利得は, 重み正規化を用いて劇的に改善されることが示唆された。
論文 参考訳(メタデータ) (2023-05-09T13:38:55Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳(メタデータ) (2022-10-12T12:49:20Z) - Stability vs Implicit Bias of Gradient Methods on Separable Data and
Beyond [33.593203156666746]
分離線形分類に適用された非正規化勾配に基づく学習手順の一般化特性に着目する。
この一般化についてさらに統一的な説明をし、実現可能性と自己有界性(self-boundedness)と呼ぶ。
これらのケースのいくつかでは、文献における既存の一般化誤差境界に対して、我々の境界は著しく改善される。
論文 参考訳(メタデータ) (2022-02-27T19:56:36Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - Beyond Exact Gradients: Convergence of Stochastic Soft-Max Policy
Gradient Methods with Entropy Regularization [9.622367651590878]
古典的エントロピー正規化政策勾配法をソフトマックス政策パラメトリゼーションで再検討する。
エントロピー項によって導入された対数的ポリシー報酬により、推定子自身は一般に非有界であることが証明されるが、分散は一様有界である。
これにより、定常点と大域的最適ポリシーの両方に対するエントロピー正規化ポリシー勾配法の最初の収束結果の開発が可能となる。
論文 参考訳(メタデータ) (2021-10-19T17:21:09Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix
Completion via Gradient Descent [22.851500417035947]
因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。
勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
論文 参考訳(メタデータ) (2021-02-04T03:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。