論文の概要: Model selection of polynomial kernel regression

• arxiv url: http://arxiv.org/abs/1503.02143v2
• Date: Tue, 13 Jun 2023 14:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 19:17:11.262179
• Title: Model selection of polynomial kernel regression
• Title（参考訳）: 多項式核回帰のモデル選択
• Authors: Shaobo Lin, Xingping Sun, Zongben Xu, Jinshan Zeng
• Abstract要約: 本稿ではカーネルの度合いと正規化パラメータを選択するための戦略を開発する。 そこで我々は,新しいモデル選択戦略を提案し,効率的な学習アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 37.431578618021184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Polynomial kernel regression is one of the standard and state-of-the-art learning strategies. However, as is well known, the choices of the degree of polynomial kernel and the regularization parameter are still open in the realm of model selection. The first aim of this paper is to develop a strategy to select these parameters. On one hand, based on the worst-case learning rate analysis, we show that the regularization term in polynomial kernel regression is not necessary. In other words, the regularization parameter can decrease arbitrarily fast when the degree of the polynomial kernel is suitable tuned. On the other hand,taking account of the implementation of the algorithm, the regularization term is required. Summarily, the effect of the regularization term in polynomial kernel regression is only to circumvent the " ill-condition" of the kernel matrix. Based on this, the second purpose of this paper is to propose a new model selection strategy, and then design an efficient learning algorithm. Both theoretical and experimental analysis show that the new strategy outperforms the previous one. Theoretically, we prove that the new learning strategy is almost optimal if the regression function is smooth. Experimentally, it is shown that the new strategy can significantly reduce the computational burden without loss of generalization capability.
• Abstract（参考訳）: 多項式カーネル回帰は、標準および最先端の学習戦略の1つである。 しかしながら、よく知られたように、多項式核の次数と正規化パラメータの選択はモデル選択の領域において依然として開いている。 本稿の第一の目的は,これらのパラメータを選択する戦略を開発することである。 一方,最悪の場合の学習率分析に基づいて,多項式核回帰における正規化項は不要であることを示す。 言い換えると、多項式核の次数が適当に調整されると、正規化パラメータは任意に小さくなる。 一方,アルゴリズムの実装を考慮すれば,正規化項が必要である。 同様に、多項式カーネル回帰における正規化項の効果は、カーネル行列の「条件」を回避しているだけである。 本研究の目的は,新しいモデル選択戦略を提案し,効率的な学習アルゴリズムを設計することである。 理論的および実験的分析は、新しい戦略が以前の戦略より優れていることを示している。 理論的には、回帰関数が滑らかであれば、新しい学習戦略がほぼ最適であることを示す。 実験により,新しい手法は一般化能力を失うことなく計算量を大幅に削減できることを示した。

関連論文リスト

• Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
  ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。 有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:45:52Z)
• Oracle Inequalities for Model Selection in Offline Reinforcement Learning [105.74139523696284]
  本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。 対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。 そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2022-11-03T17:32:34Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)
• A spectral algorithm for robust regression with subgaussian rates [0.0]
  本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。 目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
  論文  参考訳（メタデータ） (2020-07-12T19:33:50Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles [112.89548995091182]
  我々は、文脈的帯域幅からオンライン回帰への、初めての普遍的で最適な削減を提供する。 我々のアルゴリズムは、実現可能性以上の分布仮定は必要とせず、コンテキストが逆選択された場合でも機能する。
  論文  参考訳（メタデータ） (2020-02-12T11:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。