論文の概要: pGMM Kernel Regression and Comparisons with Boosted Trees

• arxiv url: http://arxiv.org/abs/2207.08667v1
• Date: Mon, 18 Jul 2022 15:06:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 16:34:24.664669
• Title: pGMM Kernel Regression and Comparisons with Boosted Trees
• Title（参考訳）: pGMMカーネル回帰とブーストツリーとの比較
• Authors: Ping Li and Weijie Zhao
• Abstract要約: 本研究では,pGMMカーネルの(リッジ)回帰の文脈における利点を実証する。 おそらく驚くことに、チューニングパラメータ(pGMMカーネルのパワーパラメータの$p=1$)がなくても、pGMMカーネルはすでによく機能している。 おそらく驚くべきことに、最高のパフォーマンス(回帰損失$L$)は、しばしば$pgggg 2$で、場合によっては$pgggg 2$で達成される。
• 参考スコア（独自算出の注目度）: 21.607059258448594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we demonstrate the advantage of the pGMM (``powered generalized min-max'') kernel in the context of (ridge) regression. In recent prior studies, the pGMM kernel has been extensively evaluated for classification tasks, for logistic regression, support vector machines, as well as deep neural networks. In this paper, we provide an experimental study on ridge regression, to compare the pGMM kernel regression with the ordinary ridge linear regression as well as the RBF kernel ridge regression. Perhaps surprisingly, even without a tuning parameter (i.e., $p=1$ for the power parameter of the pGMM kernel), the pGMM kernel already performs well. Furthermore, by tuning the parameter $p$, this (deceptively simple) pGMM kernel even performs quite comparably to boosted trees. Boosting and boosted trees are very popular in machine learning practice. For regression tasks, typically, practitioners use $L_2$ boost, i.e., for minimizing the $L_2$ loss. Sometimes for the purpose of robustness, the $L_1$ boost might be a choice. In this study, we implement $L_p$ boost for $p\geq 1$ and include it in the package of ``Fast ABC-Boost''. Perhaps also surprisingly, the best performance (in terms of $L_2$ regression loss) is often attained at $p>2$, in some cases at $p\gg 2$. This phenomenon has already been demonstrated by Li et al (UAI 2010) in the context of k-nearest neighbor classification using $L_p$ distances. In summary, the implementation of $L_p$ boost provides practitioners the additional flexibility of tuning boosting algorithms for potentially achieving better accuracy in regression applications.
• Abstract（参考訳）: 本研究では、(リッジ)回帰の文脈において、pGMM(`powered generalized min-max'')カーネルの利点を実証する。 近年の研究では、pGMMカーネルはロジスティック回帰、サポートベクターマシン、ディープニューラルネットワークといった分類タスクのために広く評価されている。 本稿では, pgmmカーネル回帰と通常のリッジ線形回帰, rbfカーネルリッジ回帰を比較するために, リッジ回帰について実験的に検討する。 おそらく驚くことに、チューニングパラメータ(pGMMカーネルのパワーパラメータの$p=1$)がなくても、pGMMカーネルはすでによく機能している。 さらに、パラメータ $p$ をチューニングすることで、この(疑わしいほど単純な)pgmmカーネルは、ブーストツリーと非常に相性が良い。 強化と強化された木は、機械学習の実践で非常に人気がある。 回帰タスクの場合、典型的には、実践者は$l_2$の損失を最小限にするために$l_2$ boostを使用する。 堅牢性のために、$L_1$ boostが選択されることもある。 本研究では,$L_p$ boost for $p\geq 1$を実装し, ``Fast ABC-Boost'' パッケージに含まれる。 おそらく驚くべきことに、最高のパフォーマンス($L_2$回帰損失)は、しばしば$p>2$で達成され、場合によっては$p\gg 2$である。 この現象はすでにLi et al (UAI 2010) によって k-アネレスト近傍の分類において$L_p$距離を用いて証明されている。 まとめると、$L_p$ boostの実装は、レグレッションアプリケーションでより良い精度を達成するために強化アルゴリズムをチューニングする柔軟性を提供する。

関連論文リスト

• Iterative Reweighted Framework Based Algorithms for Sparse Linear Regression with Generalized Elastic Net Penalty [0.3124884279860061]
  弾性ネットペナルティはパラメータ回帰と変数選択のための高次元統計学においてしばしば用いられる。 経験的証拠は、$ell_q$-norm のペナルティが $ell_r$-norm のペナルティよりもよく退行することを示している。 局所的なLipschitz連続$epsilon$-approximation to $ell_q$-norm に基づく2つの効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-22T11:55:37Z)
• Asymptotics of Random Feature Regression Beyond the Linear Scaling Regime [22.666759017118796]
  機械学習の最近の進歩は、トレーニングデータの近くにトレーニングされた過度にパラメータ化されたモデルを使用することによって達成されている。 モデル複雑性と一般化はパラメータ数$p$にどのように依存するか? 特に、RFRRは近似と一般化パワーの直感的なトレードオフを示す。
  論文  参考訳（メタデータ） (2024-03-13T00:59:25Z)
• Optimal Rate of Kernel Regression in Large Dimensions [13.641780902673792]
  我々はまず,大次元データに対する上界と最小値下界のカーネル回帰を特徴付ける汎用ツールを構築する。 我々は、新しいツールを使用して、カーネル回帰の余剰リスクの最小値が$n-1/2$であることを示す。
  論文  参考訳（メタデータ） (2023-09-08T11:29:05Z)
• SKI to go Faster: Accelerating Toeplitz Neural Networks via Asymmetric Kernels [69.47358238222586]
  Toeplitz Neural Networks (TNN) は、印象的な結果を持つ最近のシーケンスモデルである。 我々は, O(n) 計算複雑性と O(n) 相対位置エンコーダ (RPE) 多層パーセプトロン (MLP) と減衰バイアスコールの低減を目指す。 双方向モデルの場合、これはスパースと低ランクのToeplitz行列分解を動機付ける。
  論文  参考訳（メタデータ） (2023-05-15T21:25:35Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
  対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。 我々はこの$d$への依存が対数的要因まで最適であることを示す。 また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
  論文  参考訳（メタデータ） (2021-11-09T00:20:01Z)
• Mixability made efficient: Fast online multiclass logistic regression [68.8204255655161]
  我々は、混合性は最適な後悔を伴うアルゴリズムを得るための強力なツールであることを示した。 結果として得られる手法は、しばしば計算の複雑さに悩まされ、実用性が低下した。
  論文  参考訳（メタデータ） (2021-10-08T08:22:05Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Compressed Deep Networks: Goodbye SVD, Hello Robust Low-Rank Approximation [23.06440095688755]
  ニューラルネットワークを圧縮する一般的な手法は、完全に接続された層(または埋め込み層)に対応する行列$AinmathbbRntimes d$の$k$-rank $ell$近似$A_k,2$を計算することである。 ここで$d$は層内のニューロンの数、$n$は次のニューロンの数、$A_k,2$は$O(n+d)k)$メモリに格納できる。 これ
  論文  参考訳（メタデータ） (2020-09-11T20:21:42Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Statistical-Query Lower Bounds via Functional Gradients [19.5924910463796]
  我々は、寛容$n- (1/epsilon)b$の統計クエリアルゴリズムは、一定の$bに対して少なくとも$2nc epsilon$クエリを使用する必要があることを示す。 実数値学習では珍しいSQ学習アルゴリズムが一般的である(相関学習とは対照的に)。
  論文  参考訳（メタデータ） (2020-06-29T05:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。