論文の概要: Comparing regularisation paths of (conjugate) gradient estimators in ridge regression

• arxiv url: http://arxiv.org/abs/2503.05542v2
• Date: Mon, 10 Mar 2025 07:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 11:38:37.069935
• Title: Comparing regularisation paths of (conjugate) gradient estimators in ridge regression
• Title（参考訳）: 尾根回帰における(共役)勾配推定器の正規化経路の比較
• Authors: Laura Hucker, Markus Reiß, Thomas Stark,
• Abstract要約: 線形回帰におけるペナル化リッジ基準を最小化するための反復アルゴリズムとして,勾配勾配,勾配流,共役勾配を考察する。 特に、オラクル共役勾配は勾配流の最適性を共有し、尾根回帰は定数係数までオラクルする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We consider standard gradient descent, gradient flow and conjugate gradients as iterative algorithms for minimizing a penalized ridge criterion in linear regression. While it is well known that conjugate gradients exhibit fast numerical convergence, the statistical properties of their iterates are more difficult to assess due to inherent nonlinearities and dependencies. On the other hand, standard gradient flow is a linear method with well known regularizing properties when stopped early. By an explicit non-standard error decomposition we are able to bound the prediction error for conjugate gradient iterates by a corresponding prediction error of gradient flow at transformed iteration indices. This way, the risk along the entire regularisation path of conjugate gradient iterations can be compared to that for regularisation paths of standard linear methods like gradient flow and ridge regression. In particular, the oracle conjugate gradient iterate shares the optimality properties of the gradient flow and ridge regression oracles up to a constant factor. Numerical examples show the similarity of the regularisation paths in practice.
• Abstract（参考訳）: 線形回帰におけるペナル化リッジ基準を最小化するための反復アルゴリズムとして, 標準勾配勾配, 勾配流, 共役勾配を考える。 共役勾配が高速な数値収束を示すことはよく知られているが、それらの反復体の統計的性質は、固有の非線形性や依存関係のために評価することがより困難である。 一方、標準勾配流は、早く停止した場合によく知られた正規化特性を持つ線形法である。 明示的な非標準誤差分解により、変換された反復指標における勾配流の対応する予測誤差により、共役勾配反復の予測誤差をバウンドすることができる。 このように、共役勾配反復の正則化経路全体に沿ったリスクは、勾配流やリッジ回帰のような標準線形メソッドの正則化経路と比較することができる。 特に、オラクル共役勾配は勾配流の最適性を共有し、尾根回帰は定数係数までオラクルする。 数値的な例は、実際には正規化パスの類似性を示している。

関連論文リスト

• Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
  勾配平衡は標準オンライン学習法によって達成される。 勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。 勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
  論文  参考訳（メタデータ） (2025-01-14T18:59:09Z)
• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients [15.218434620361387]
  状態-作用分布のフィッシャー情報行列に基づく別の自然勾配法について検討する。 我々はフィッシャー・ラオ勾配流と自然勾配流の線形収束を近似誤差まで示す。
  論文  参考訳（メタデータ） (2024-03-28T14:16:23Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows [4.830811539001643]
  本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。 結果として得られる経路勾配推定器は、実装が簡単で、分散が小さく、訓練の収束が早くなるだけでなく、全体の近似結果も良くなる。
  論文  参考訳（メタデータ） (2022-07-17T16:27:41Z)
• Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond [33.593203156666746]
  分離線形分類に適用された非正規化勾配に基づく学習手順の一般化特性に着目する。 この一般化についてさらに統一的な説明をし、実現可能性と自己有界性(self-boundedness)と呼ぶ。 これらのケースのいくつかでは、文献における既存の一般化誤差境界に対して、我々の境界は著しく改善される。
  論文  参考訳（メタデータ） (2022-02-27T19:56:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients [19.772149500352945]
  下界の最大化によるモデルパラメータの近似的最大度学習は、スパース変分アプローチの利点の多くを保っていることを示す。 実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。
  論文  参考訳（メタデータ） (2021-02-16T17:54:59Z)
• Implicit Gradient Regularization [18.391141066502644]
  勾配降下は、過度に適合せず、明示的な正規化もなく、ディープニューラルネットワークを最適化するのに驚くほど適しています。 我々はImplicit Gradient Regularization (IGR)と呼び、後方誤差解析を用いて正規化のサイズを計算する。
  論文  参考訳（メタデータ） (2020-09-23T14:17:53Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。