論文の概要: A Smoothed Discrepancy Principle for Random Feature Methods and Neural Networks

• arxiv url: http://arxiv.org/abs/2609.21017v1
• Date: Thu, 17 Sep 2026 19:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.761204
• Title: A Smoothed Discrepancy Principle for Random Feature Methods and Neural Networks
• Title（参考訳）: ランダム特徴法とニューラルネットワークのための平滑な離散性原理
• Abstract要約: スペクトル正則化法におけるデータ駆動早期停止について検討する。 我々の研究の重要な貢献は、ランダムな特徴近似に基づく拡張である。 その結果、選択した幅と停止時間によって、ニューラルネットワークが最小限の学習速度を達成できることが証明された。
• 参考スコア（独自算出の注目度）: 0.7090165638014329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study data-driven early stopping for spectral regularisation methods in the classical non-parametric regression setting. Building on the discrepancy principle, we propose a multi-scale stopping rule that applies to general kernel estimators and show that, unlike previous approaches, it achieves full adaptivity over all smoothness levels in the well-specified case. A key contribution of our work is an extension based on random feature approximations, which reduces computational cost on large datasets while preserving minimax-optimal statistical guarantees. Our procedure not only selects an optimal stopping time but also provides a fully data-driven choice of the number of random features needed to achieve optimal rates. Through the established connection between random features and neural networks in the neural tangent kernel regime, our method further yields a principled, data-driven recommendation for the network width. We prove that the resulting simultaneously chosen width and stopping time allow neural networks to attain minimax-optimal learning rates without prior knowledge of smoothness or capacity parameters.
• Abstract（参考訳）: 古典的非パラメトリック回帰設定におけるスペクトル正則化法について,データ駆動早期停止について検討した。 相違原理に基づいて、一般的なカーネル推定器に適用可能なマルチスケールの停止則を提案し、従来の手法とは異なり、適切に特定された場合のすべての滑らか度レベルに対して完全な適応性を実現することを示す。 我々の研究の重要な貢献は、ランダムな特徴近似に基づく拡張であり、これは、最小限の統計的保証を保ちながら、大規模データセットの計算コストを削減します。 我々の手順は最適な停止時間を選択するだけでなく、最適な速度を達成するのに必要なランダムな特徴の数を、完全にデータ駆動で選択する。 ニューラルネットワークシステムにおけるランダム特徴とニューラルネットワークの確立された接続を通じて,本手法はさらに,ネットワーク幅に対する基本的,データ駆動的勧告を導出する。 選択した幅と停止時間によって、スムーズさやキャパシティパラメータの事前知識を必要とせずに、ニューラルネットワークが最小限の学習率を達成することが証明された。

関連論文リスト

• Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality [52.906438147288256]
  我々のアルゴリズムは,特定のニューラルネットワーク構造の下で,最適報酬とポリシーを識別できることが示される。 これは、国際的最適性を確実に達成する非漸近収束保証を持つ最初のIRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-22T21:16:08Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Optimal Stopping via Randomized Neural Networks [6.677219861416146]
  本稿では、標準基底関数やディープニューラルネットワークの代わりにランダム化されたニューラルネットワークを使用することの利点について述べる。 我々のアプローチは、既存のアプローチがますます非現実的になるような高次元問題に適用できる。 いずれにせよ、我々のアルゴリズムは、最先端や他の関連する機械学習アプローチよりも時間的に優れている。
  論文  参考訳（メタデータ） (2021-04-28T09:47:21Z)
• All You Need is a Good Functional Prior for Bayesian Deep Learning [15.10662960548448]
  これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。 本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。 我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-11-25T15:36:16Z)
• Decentralised Learning with Random Features and Distributed Gradient Descent [39.00450514924611]
  本研究では,不規則な正規化とランダムな特徴を持つ分散グラディエントDescentの均質な環境下での一般化性能について検討する。 ステップサイズ,繰り返し回数,通信行列の逆スペクトルギャップ,ランダム特徴数の関数として,各エージェントの予測性能に高い確率境界を確立する。 本稿では,ランダムな特徴数,イテレーション数,サンプル数が予測性能に与える影響をシミュレーションで示す。
  論文  参考訳（メタデータ） (2020-07-01T09:55:09Z)
• Stochastic gradient descent with random learning rate [0.0]
  本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。 ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。 我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
  論文  参考訳（メタデータ） (2020-03-15T21:36:46Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。