Fugu-MT 論文翻訳(概要): A Bound on the Maximal Marginal Degrees of Freedom

論文の概要: A Bound on the Maximal Marginal Degrees of Freedom

arxiv url: http://arxiv.org/abs/2402.12885v1
Date: Tue, 20 Feb 2024 10:25:44 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 15:58:01.143227
Title: A Bound on the Maximal Marginal Degrees of Freedom
Title（参考訳）: 最大限の限界の自由度に縛られること
Authors: Paul Dommel
Abstract要約: 共通カーネルリッジレグレッションは、メモリ割り当てと計算時間において高価である。本稿では,カーネルリッジ回帰に対する低階近似とサロゲートについて述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Common kernel ridge regression is expensive in memory allocation and computation time. This paper addresses low rank approximations and surrogates for kernel ridge regression, which bridge these difficulties. The fundamental contribution of the paper is a lower bound on the rank of the low dimensional approximation, which is required such that the prediction power remains reliable. The bound relates the effective dimension with the largest statistical leverage score. We characterize the effective dimension and its growth behavior with respect to the regularization parameter by involving the regularity of the kernel. This growth is demonstrated to be asymptotically logarithmic for suitably chosen kernels, justifying low-rank approximations as the Nystr\"om method.
Abstract（参考訳）: 共通カーネルリッジ回帰はメモリ割り当てと計算時間において高価である。本稿では、これらの困難を補うカーネルリッジ回帰のための低階近似とサロゲートについて述べる。この論文の基本的な貢献は低次元近似の階数に対する下界であり、予測力の信頼性が保たれるように要求される。境界は有効次元と最大の統計レバレッジスコアを関連付ける。本稿では,カーネルの正則性を用いて,正規化パラメータに対する有効次元とその成長挙動を特徴付ける。この成長は、適切に選択されたカーネルに対して漸近的に対数的であることが示され、Nystr\"om 法として低ランク近似を正当化する。

関連論文リスト

Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
論文参考訳（メタデータ） (2024-09-11T12:28:42Z)
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文参考訳（メタデータ） (2024-02-04T05:54:51Z)
Gaussian Process Regression under Computational and Epistemic Misspecification [4.5656369638728656]
大規模データアプリケーションでは、カーネルの低ランクあるいはスパース近似を用いて計算コストを削減できる。本稿では,そのようなカーネル近似が要素誤差に与える影響について検討する。
論文参考訳（メタデータ） (2023-12-14T18:53:32Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay [9.427635404752936]
テンソル・オン・テンソル回帰(tensor-on-tensor regression)について検討し、テンソル応答とテンソル共変量とをタッカー階数パラメータ/行列で結合する。我々は、未知の階級の課題に対処する2つの方法を提案する。一般テンソル・オン・テンソル回帰に対する最初の収束保証を提供する。
論文参考訳（メタデータ） (2022-06-17T13:15:27Z)
SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文参考訳（メタデータ） (2021-03-23T17:48:56Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
論文参考訳（メタデータ） (2020-06-16T04:27:38Z)
Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文参考訳（メタデータ） (2020-01-15T16:11:04Z)
Minimax Semiparametric Learning With Approximate Sparsity [3.2116198597240846]
本稿では,高次元約スパース回帰の線形平均二乗連続函数を根nで連続的に推定できる可能性と方法について述べる。回帰勾配と平均微分の近似器の収束率に低い境界を与える。また、最小の近似スパーシリティ条件の下でルートnが整合なデバイアスドマシン学習者や、速度二重ロバスト性も与える。
論文参考訳（メタデータ） (2019-12-27T16:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。