論文の概要: Adaptive Regularization for Random Features: A Neighboring Early-Stopping Rule with Oracle-Rate Guarantees
- arxiv url: http://arxiv.org/abs/2608.25513v1
- Date: Wed, 26 Aug 2026 08:24:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.670152
- Title: Adaptive Regularization for Random Features: A Neighboring Early-Stopping Rule with Oracle-Rate Guarantees
- Title（参考訳）: ランダムな特徴に対する適応的な規則化: Oracle-Rate 保証付き早期停止ルール
- Abstract要約: ランダム特徴法は、カーネルリッジ回帰(KRR)に対するスケーラブルな近似を提供する
ランダム特徴を持つKRR(KRR-RF)における適応正則化のための近傍の早期停止規則を提案する。
本分析は,観測可能な停止閾値とランダム特徴モデルの集団複雑性を結合する経験的ランダム特徴有効次元に基づく。
- 参考スコア（独自算出の注目度）: 15.448526599439795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Random feature methods provide a scalable approximation to kernel ridge regression (KRR), but the regularization parameter that yields the oracle learning rate depends on unknown smoothness and capacity parameters. In this work, we propose a neighboring early-stopping rule for adaptive regularization in KRR with random features (KRR-RF). The method uses a grid that is uniform in inverse regularization and compares only adjacent estimators, reducing the number of discrepancy comparisons relative to standard all-pairs Lepskii-type procedures. Both the neighboring discrepancy and its empirical complexity term can be computed directly in the random feature space, without constructing the exact kernel Gram matrix. We establish a high-probability comparison bound for neighboring KRR-RF estimators and show that, under standard source and capacity conditions together with suitable grid and random feature budget conditions, the selected estimator attains the oracle polynomial learning rate up to logarithmic factors. The result allows the regularization parameter to be selected without prior knowledge of the source and capacity exponents and covers both well-specified and partially misspecified regimes. Our analysis is based on an empirical random feature effective dimension that connects the observable stopping threshold with the population complexity of the random feature model. Simulation and real-data experiments illustrate the prediction performance and computational behavior of the proposed method in comparison with standard tuning procedures.
- Abstract（参考訳）: ランダム特徴法は、カーネルリッジ回帰(KRR)に対するスケーラブルな近似を提供するが、オラクル学習率をもたらす正規化パラメータは、未知の滑らかさとキャパシティパラメータに依存する。
本研究では,ランダムな特徴を持つKRR(KRR-RF)の適応正則化のための近傍の早期停止規則を提案する。
この方法は、逆正則化で均一な格子を用い、隣接する推定器のみを比較し、標準のオールペアLepskii型プロシージャと比較して差分比較の回数を減らす。
隣接する離散性とその経験的複雑性項は、正確なカーネルグラム行列を構築することなく、ランダムな特徴空間で直接計算することができる。
我々は、隣接するKRR-RF推定器の高確率比較を定め、標準のソース条件とキャパシティ条件と適切なグリッドとランダムな特徴予算条件とで、選択された推定器がオラクル多項式学習率を対数因子まで到達することを示す。
その結果、正規化パラメータは、ソースおよびキャパシティ指数の事前の知識なしに選択でき、明確に特定され、部分的に不特定なレギュレーションの両方をカバーすることができる。
本分析は,観測可能な停止閾値とランダム特徴モデルの集団複雑性を結合する経験的ランダム特徴有効次元に基づく。
シミュレーションと実データ実験により,提案手法の予測性能と計算挙動を標準チューニング法と比較した。
関連論文リスト
- The Regularization Parameter: Sparse Precision Matrix Estimation [1.3532832187980637]
スパース精度行列推定は、高次元、低サンプルサイズのデータにおける条件依存をモデル化するための効率的なフレームワークを提供する。
繰り返し発生する課題は、推定器の間隔を制御する正規化パラメータを適切に選択することである。
本稿では,一階最適条件のサンプリング分布から導出した閉形式行列値正規化パラメータを提案する。
論文 参考訳（メタデータ） (2026-07-07T13:19:19Z) - Adaptive Benign Overfitting (ABO): Overparameterized RLS for Online Learning in Non-stationary Time-series [0.0]
ABOは非常に正確で(ベースラインのカーネルメソッドと比較して)、20～40%のスピード改善を実現している。
結果は、安定したオンライン学習フレームワーク内で適応フィルタリング、カーネル近似、良性過剰適合をリンクする統一ビューを提供する。
論文 参考訳（メタデータ） (2026-01-29T15:58:01Z) - Efficient Covariance Estimation for Sparsified Functional Data [51.69796254617083]
共分散関数のランダムノット(ランダムノット-空間)とB-スプライン(Bspline-Spatial)推定器は計算的に効率的である。
共分散の漸近的なポイントワイドは、ある規則性条件下でのスパース化された個々の軌跡に対して得られる。
論文 参考訳（メタデータ） (2025-11-23T00:50:33Z) - Revisiting Randomization in Greedy Model Search [16.15551706774035]
特徴サブサンプリングによってランダム化される欲求前方選択推定器のアンサンブルを提案し,解析する。
計算効率を大幅に向上させる動的プログラミングに基づく新しい実装を設計する。
ランダム化アンサンブルが縮小と類似しているという一般的な信念とは対照的に、トレーニングエラーと自由度を同時に低減できることが示される。
論文 参考訳（メタデータ） (2025-06-18T17:13:53Z) - Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
我々は,真の回帰パラメータの構造が果たす役割を考察する。
有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。
これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
論文 参考訳（メタデータ） (2020-06-11T13:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。