論文の概要: Highly Adaptive Ridge

• arxiv url: http://arxiv.org/abs/2410.02680v1
• Date: Thu, 3 Oct 2024 17:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:32:59.609545
• Title: Highly Adaptive Ridge
• Title（参考訳）: 高適応リッジ
• Authors: Alejandro Schuler, Alexander Hagemeister, Mark van der Laan,
• Abstract要約: 直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
• 参考スコア（独自算出の注目度）: 84.38107748875144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we propose the Highly Adaptive Ridge (HAR): a regression method that achieves a $n^{-1/3}$ dimension-free L2 convergence rate in the class of right-continuous functions with square-integrable sectional derivatives. This is a large nonparametric function class that is particularly appropriate for tabular data. HAR is exactly kernel ridge regression with a specific data-adaptive kernel based on a saturated zero-order tensor-product spline basis expansion. We use simulation and real data to confirm our theory. We demonstrate empirical performance better than state-of-the-art algorithms for small datasets in particular.
• Abstract（参考訳）: 本稿では,二乗可積分な部分微分を持つ右連続函数のクラスにおいて,n^{-1/3}=次元自由なL2収束率を達成する回帰法であるHighly Adaptive Ridge (HAR)を提案する。 これは大きな非パラメトリック関数クラスであり、特に表データに適している。 HARは、飽和ゼロオーダーテンソル積スプラインベース展開に基づく、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションである。 シミュレーションと実データを使って理論を裏付ける。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。

関連論文リスト

• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel [1.5229257192293204]
  カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 反復的アプローチを用いることで、トレーニング中にカーネルを変更することができる。 本稿では,トランスレーショナル不変カーネルの帯域幅の更新方式を提案する。
  論文  参考訳（メタデータ） (2023-11-03T07:43:53Z)
• Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints [2.323238724742687]
  多重線形ロジスティック回帰は多次元データ解析の強力なツールである。 本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。 また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
  論文  参考訳（メタデータ） (2023-09-17T11:05:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Easy Differentially Private Linear Regression [16.325734286930764]
  本研究では,指数関数機構を用いて,非プライベート回帰モデルの集合からタキー深度の高いモデルを選択するアルゴリズムについて検討する。 このアルゴリズムは、データリッチな設定において、強い経験的性能を得る。
  論文  参考訳（メタデータ） (2022-08-15T17:42:27Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Ridge regression with adaptive additive rectangles and other piecewise functional templates [0.0]
  関数線形回帰モデルに対する$L_2$ベースのペナル化アルゴリズムを提案する。 提案アルゴリズムは,適切なテンプレートの近似と凸リッジのような問題の解法とを交互に行う方法を示す。
  論文  参考訳（メタデータ） (2020-11-02T15:28:54Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.132096006921048]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。