論文の概要: Optimal Rates of Distributed Regression with Imperfect Kernels
- arxiv url: http://arxiv.org/abs/2006.16744v1
- Date: Tue, 30 Jun 2020 13:00:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 05:38:06.325185
- Title: Optimal Rates of Distributed Regression with Imperfect Kernels
- Title（参考訳）: 不完全なカーネルによる分散回帰の最適速度
- Authors: Hongwei Sun (University of Jinan) and Qiang Wu (Middle Tennessee State
University)
- Abstract要約: 本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed machine learning systems have been receiving increasing
attentions for their efficiency to process large scale data. Many distributed
frameworks have been proposed for different machine learning tasks. In this
paper, we study the distributed kernel regression via the divide and conquer
approach. This approach has been proved asymptotically minimax optimal if the
kernel is perfectly selected so that the true regression function lies in the
associated reproducing kernel Hilbert space. However, this is usually, if not
always, impractical because kernels that can only be selected via prior
knowledge or a tuning process are hardly perfect. Instead it is more common
that the kernel is good enough but imperfect in the sense that the true
regression can be well approximated by but does not lie exactly in the kernel
space. We show distributed kernel regression can still achieves capacity
independent optimal rate in this case. To this end, we first establish a
general framework that allows to analyze distributed regression with response
weighted base algorithms by bounding the error of such algorithms on a single
data set, provided that the error bounds has factored the impact of the
unexplained variance of the response variable. Then we perform a leave one out
analysis of the kernel ridge regression and bias corrected kernel ridge
regression, which in combination with the aforementioned framework allows us to
derive sharp error bounds and capacity independent optimal rates for the
associated distributed kernel regression algorithms. As a byproduct of the
thorough analysis, we also prove the kernel ridge regression can achieve rates
faster than $N^{-1}$ (where $N$ is the sample size) in the noise free setting
which, to our best knowledge, are first observed and novel in regression
learning.
- Abstract（参考訳）: 分散機械学習システムは、大規模なデータ処理の効率化に注目が集まっている。
さまざまな機械学習タスクに対して、多くの分散フレームワークが提案されている。
本稿では,分散カーネルの分散回帰を分割・征服手法を用いて検討する。
このアプローチは、核が完全に選択され、真の回帰関数が関連する再生核ヒルベルト空間にある場合に漸近的に最適であることが証明されている。
しかし、これは通常、必ずしも非現実的ではない、なぜなら、以前の知識やチューニングプロセスでのみ選択できるカーネルは完璧ではないからである。
代わりに、真の回帰はよく近似できるが、正確には核空間に存在しないという意味では、カーネルが十分であるが不完全である方が一般的である。
この場合、分散カーネル回帰はキャパシティ独立な最適レートを達成できることを示した。
この目的のために,我々はまず,そのようなアルゴリズムの誤差を単一のデータセットにバインドすることにより,応答重み付けベースアルゴリズムを用いて分散回帰を解析できる汎用フレームワークを構築した。
次に,カーネルリッジ回帰とバイアス補正カーネルリッジ回帰の解析を行い,上記のフレームワークと組み合わせることで,関連する分散カーネル回帰アルゴリズムに対して,鋭い誤差境界と容量独立な最適レートを導出する。
完全な分析の副産物として、カーネルリッジ回帰は、ノイズフリー設定において、最初に観測され、回帰学習において新しいものとなる、$n^{-1}$(サンプルサイズは$n$)よりも速い速度が得られることを証明します。
関連論文リスト
- Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。
初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
論文 参考訳（メタデータ） (2024-06-03T15:28:12Z) - Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。
以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。
副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
論文 参考訳（メタデータ） (2023-12-26T10:55:20Z) - Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant
Kernel [1.5229257192293204]
カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。
反復的アプローチを用いることで、トレーニング中にカーネルを変更することができる。
本稿では,トランスレーショナル不変カーネルの帯域幅の更新方式を提案する。
論文 参考訳（メタデータ） (2023-11-03T07:43:53Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Improved learning theory for kernel distribution regression with
two-stage sampling [3.154269505086155]
カーネルメソッドは分散回帰問題に取り組む方法として選択されている。
ヒルベルトの埋め込みに対して,新しい誤差境界を提供する新しい非バイアス条件を導入する。
この条件は、最適輸送と平均埋め込みに基づくカーネルの3つの重要なクラスに当てはまることを示す。
論文 参考訳（メタデータ） (2023-08-28T06:29:09Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Improved Convergence Rates for Sparse Approximation Methods in
Kernel-Based Learning [48.08663378234329]
カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。
既存のスパース近似法は計算コストを大幅に削減することができる。
我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
論文 参考訳（メタデータ） (2022-02-08T17:22:09Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel [77.73399781313893]
カーネルベースの特徴選択の客観的機能を確立することが課題である。
非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
論文 参考訳（メタデータ） (2021-06-17T11:05:48Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳（メタデータ） (2021-04-13T13:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。