Fugu-MT 論文翻訳(概要): Ridgeless Regression with Random Features

論文の概要: Ridgeless Regression with Random Features

arxiv url: http://arxiv.org/abs/2205.00477v1
Date: Sun, 1 May 2022 14:25:08 GMT
ステータス: 処理完了
システム内更新日: 2022-05-03 14:34:27.293694
Title: Ridgeless Regression with Random Features
Title（参考訳）: ランダムな特徴を持つリッジレス回帰
Authors: Jian Li, Yong Liu, Yingying Zhang
Abstract要約: 本研究では,無作為な特徴と勾配降下を伴う隆起性回帰の統計的特性について検討した。トレーニング中のカーネルのスペクトル密度を最適化する可変カーネルアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 23.41536146432726
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent theoretical studies illustrated that kernel ridgeless regression can guarantee good generalization ability without an explicit regularization. In this paper, we investigate the statistical properties of ridgeless regression with random features and stochastic gradient descent. We explore the effect of factors in the stochastic gradient and random features, respectively. Specifically, random features error exhibits the double-descent curve. Motivated by the theoretical findings, we propose a tunable kernel algorithm that optimizes the spectral density of kernel during training. Our work bridges the interpolation theory and practical algorithm.
Abstract（参考訳）: 最近の理論的研究は、カーネルリッジレス回帰が明示的な正規化なしに優れた一般化能力を保証できることを示した。本稿では,ランダムな特徴と確率的勾配降下を伴うリッジレス回帰の統計的性質について検討する。確率勾配およびランダム特徴における因子の影響について検討する。特に、ランダムな特徴の誤差は二重日光曲線を示す。理論的な知見に動機づけられ,訓練中のカーネルのスペクトル密度を最適化する可変カーネルアルゴリズムを提案する。我々の研究は補間理論と実用的なアルゴリズムを橋渡しする。

関連論文リスト

High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
論文参考訳（メタデータ） (2024-06-05T12:03:27Z)
Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
論文参考訳（メタデータ） (2024-06-03T15:28:12Z)
Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay [13.803850290216257]
本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
論文参考訳（メタデータ） (2024-01-03T08:00:50Z)
Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文参考訳（メタデータ） (2022-05-26T20:56:25Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Kernel Methods for Causal Functions: Dose, Heterogeneous, and Incremental Response Curves [26.880628841819004]
我々は、一般化されたカーネルリッジ回帰のオリジナル解析により、改良された有限標本率と一様整合性を証明した。本研究は,本研究の主な成果を,前部および後部ドア基準で同定した反事実分布と因果関数に拡張する。
論文参考訳（メタデータ） (2020-10-10T00:53:11Z)
On the Universality of the Double Descent Peak in Ridgeless Regression [0.0]
リッジレス線形回帰におけるラベルノイズに起因する平均2乗誤差の非漸近分布非依存的下界を証明した。我々の下界は、過大化(補間)体制と同じような既知の結果を一般化する。
論文参考訳（メタデータ） (2020-10-05T08:30:25Z)
Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文参考訳（メタデータ） (2020-06-30T13:00:16Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。