論文の概要: Random Smoothing Regularization in Kernel Gradient Descent Learning
- arxiv url: http://arxiv.org/abs/2305.03531v2
- Date: Fri, 12 May 2023 02:43:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 15:25:09.524756
- Title: Random Smoothing Regularization in Kernel Gradient Descent Learning
- Title（参考訳）: カーネルグラディエントDescent Learningにおけるランダムな平滑化
- Authors: Liang Ding, Tianyang Hu, Jiahang Jiang, Donghao Li, Wenjia Wang, Yuan
Yao
- Abstract要約: 古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。
我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
- 参考スコア（独自算出の注目度）: 24.383121157277007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Random smoothing data augmentation is a unique form of regularization that
can prevent overfitting by introducing noise to the input data, encouraging the
model to learn more generalized features. Despite its success in various
applications, there has been a lack of systematic study on the regularization
ability of random smoothing. In this paper, we aim to bridge this gap by
presenting a framework for random smoothing regularization that can adaptively
and effectively learn a wide range of ground truth functions belonging to the
classical Sobolev spaces. Specifically, we investigate two underlying function
spaces: the Sobolev space of low intrinsic dimension, which includes the
Sobolev space in $D$-dimensional Euclidean space or low-dimensional
sub-manifolds as special cases, and the mixed smooth Sobolev space with a
tensor structure. By using random smoothing regularization as novel
convolution-based smoothing kernels, we can attain optimal convergence rates in
these cases using a kernel gradient descent algorithm, either with early
stopping or weight decay. It is noteworthy that our estimator can adapt to the
structural assumptions of the underlying data and avoid the curse of
dimensionality. This is achieved through various choices of injected noise
distributions such as Gaussian, Laplace, or general polynomial noises, allowing
for broad adaptation to the aforementioned structural assumptions of the
underlying data. The convergence rate depends only on the effective dimension,
which may be significantly smaller than the actual data dimension. We conduct
numerical experiments on simulated data to validate our theoretical results.
- Abstract（参考訳）: ランダムスムーズなデータ拡張は、入力データにノイズを導入することで過度な適合を防止し、より一般化された特徴を学ぶようモデルに促す、ユニークな形式である。
様々な応用で成功したにもかかわらず、ランダムな平滑化の正則化能力に関する体系的な研究は乏しい。
本稿では,古典ソボレフ空間に属する幅広い基底真理関数を適応的かつ効果的に学習できるランダム平滑化正規化の枠組みを提案することにより,このギャップを埋めることを目的とする。
具体的には、D$次元ユークリッド空間のソボレフ空間や、特別の場合の低次元部分多様体のソボレフ空間を含む低内在次元のソボレフ空間と、テンソル構造を持つ混合滑らかなソボレフ空間である。
ランダムな平滑化正規化を新しい畳み込みに基づく平滑化カーネルとして使用することにより、早期停止または重み劣化を伴うカーネル勾配勾配アルゴリズムを用いて、これらの場合の最適収束率を得ることができる。
我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
これは、ガウス、ラプラス、一般多項式ノイズなどの様々なノイズ分布の注入によって達成され、上記のデータの構造的仮定に広く適応することができる。
収束速度は有効次元のみに依存し、実際のデータ次元よりもかなり小さい可能性がある。
シミュレーションデータの数値実験を行い,理論結果の検証を行った。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-06-20T15:07:37Z) - $\infty$-Diff: Infinite Resolution Diffusion with Subsampled Mollified
States [13.75813166759549]
$infty$-Diff は無限次元ヒルベルト空間で定義される生成拡散モデルである。
ランダムにサンプリングされた座標部分集合のトレーニングにより、任意の分解能サンプリングのための連続関数を学習する。
論文 参考訳（メタデータ） (2023-03-31T17:58:08Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Robust Inference of Manifold Density and Geometry by Doubly Stochastic
Scaling [8.271859911016719]
我々は高次元雑音下で頑健な推論のためのツールを開発する。
提案手法は, セルタイプにまたがる技術的ノイズレベルの変動に頑健であることを示す。
論文 参考訳（メタデータ） (2022-09-16T15:39:11Z) - Intrinsic dimension estimation for discrete metrics [65.5438227932088]
本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。
我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。
このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
論文 参考訳（メタデータ） (2022-07-20T06:38:36Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Error-Correcting Neural Networks for Two-Dimensional Curvature
Computation in the Level-Set Method [0.0]
本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。
我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
論文 参考訳（メタデータ） (2022-01-22T05:14:40Z) - Linear-time inference for Gaussian Processes on one dimension [17.77516394591124]
本研究では,その線形スケーリング計算コストから,状態空間モデルが人気である1次元のサンプルデータについて検討する。
状態空間モデルは一般であり、任意の1次元ガウス過程を近似できるという予想の最初の一般的な証明を提供する。
LEGモデルで推論と学習を行う並列アルゴリズムを開発し、実データおよび合成データ上でアルゴリズムをテストし、数十億のサンプルを持つデータセットへのスケーリングを実証する。
論文 参考訳（メタデータ） (2020-03-11T23:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。