論文の概要: A Bound on the Maximal Marginal Degrees of Freedom

• arxiv url: http://arxiv.org/abs/2402.12885v2
• Date: Mon, 06 Jan 2025 12:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:04:36.546968
• Title: A Bound on the Maximal Marginal Degrees of Freedom
• Title（参考訳）: 最大自由度に関する一考察
• Authors: Paul Dommel,
• Abstract要約: 本稿では,カーネルリッジ回帰に対する低階近似とサロゲートについて述べる。 我々は,最も一般的な低ランク手法であるNystr"om法(英語版)の計算コストが,サンプルサイズにおいてほぼ線形であることを実証した。 この結果は、関連する積分作用素の範囲の要素による基本核関数の近似の徹底的な理論的解析に基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Kernel ridge regression, in general, is expensive in memory allocation and computation time. This paper addresses low rank approximations and surrogates for kernel ridge regression, which bridge these difficulties. The fundamental contribution of the paper is a lower bound on the minimal rank such that the prediction power of the approximation remains reliable. Based on this bound, we demonstrate that the computational cost of the most popular low rank approach, which is the Nystr\"om method, is almost linear in the sample size. This justifies the method from a theoretical point of view. Moreover, the paper provides a significant extension of the feasible choices of the regularization parameter. The result builds on a thorough theoretical analysis of the approximation of elementary kernel functions by elements in the range of the associated integral operator. We provide estimates of the approximation error and characterize the behavior of the norm of the underlying weight function.
• Abstract（参考訳）: カーネルリッジ回帰は一般にメモリ割り当てと計算時間において高価である。 本稿では、これらの困難を補うカーネルリッジ回帰のための低階近似とサロゲートについて述べる。 この論文の基本的な貢献は、近似の予測能力が信頼性を保つため、最小限のランクに対する下限である。 このバウンダリに基づいて、最も一般的な低ランク手法であるNystr\"om法(英語版)の計算コストが、サンプルサイズにおいてほぼ線形であることを示す。 これは理論的な観点からメソッドを正当化する。 さらに,本論文では,正規化パラメータの可能な選択の大幅な拡張について述べる。 この結果は、関連する積分作用素の範囲の要素による基本核関数の近似の徹底的な理論的解析に基づいている。 近似誤差を推定し、基礎となる重み関数のノルムの振舞いを特徴付ける。

関連論文リスト

• Gaussian Process Regression under Computational and Epistemic Misspecification [4.5656369638728656]
  大規模データアプリケーションでは、カーネルの低ランクあるいはスパース近似を用いて計算コストを削減できる。 本稿では,そのようなカーネル近似が要素誤差に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-12-14T18:53:32Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Nystr\"om Kernel Mean Embeddings [92.10208929236826]
  Nystr"om法に基づく効率的な近似手法を提案する。 サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。 本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
  論文  参考訳（メタデータ） (2022-01-31T08:26:06Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Minimax Semiparametric Learning With Approximate Sparsity [3.2116198597240846]
  本稿では,高次元約スパース回帰の線形平均二乗連続函数を根nで連続的に推定できる可能性と方法について述べる。 回帰勾配と平均微分の近似器の収束率に低い境界を与える。 また、最小の近似スパーシリティ条件の下でルートnが整合なデバイアスドマシン学習者や、速度二重ロバスト性も与える。
  論文  参考訳（メタデータ） (2019-12-27T16:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。