論文の概要: The Statistical Cost of Robust Kernel Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2006.08035v1
• Date: Sun, 14 Jun 2020 21:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 10:10:07.860612
• Title: The Statistical Cost of Robust Kernel Hyperparameter Tuning
• Title（参考訳）: ロバストカーネルハイパーパラメータチューニングの統計的コスト
• Authors: Raphael A. Meyer, Christopher Musco
• Abstract要約: 対向雑音下での能動回帰の設定におけるカーネルハイパーパラメータチューニングの統計的複雑さについて検討した。 カーネルクラスの複雑性の増大がカーネルハイパーパラメータの学習の複雑さを増大させるのを特徴付け、この問題に対する有限サンプル保証を提供する。
• 参考スコア（独自算出の注目度）: 20.42751031392928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the statistical complexity of kernel hyperparameter tuning in the setting of active regression under adversarial noise. We consider the problem of finding the best interpolant from a class of kernels with unknown hyperparameters, assuming only that the noise is square-integrable. We provide finite-sample guarantees for the problem, characterizing how increasing the complexity of the kernel class increases the complexity of learning kernel hyperparameters. For common kernel classes (e.g. squared-exponential kernels with unknown lengthscale), our results show that hyperparameter optimization increases sample complexity by just a logarithmic factor, in comparison to the setting where optimal parameters are known in advance. Our result is based on a subsampling guarantee for linear regression under multiple design matrices, combined with an {\epsilon}-net argument for discretizing kernel parameterizations.
• Abstract（参考訳）: 本稿では,周辺雑音下でのアクティブ回帰設定におけるカーネルハイパーパラメータチューニングの統計的複雑性について検討する。 未知のハイパーパラメータを持つカーネルのクラスから最適な補間を見つけ、ノイズが二乗可積分であると仮定する問題を考える。 問題に対する有限サンプル保証を提供し、カーネルクラスの複雑さがカーネルハイパーパラメータの学習の複雑さをいかに増加させるかを特徴付ける。 共通カーネルクラス(例えば、未知長スケールの2乗指数カーネル)では、パラメータが予め知られている設定と比較して、ハイパーパラメータ最適化が対数係数だけでサンプルの複雑さを増大させることを示す。 この結果は、複数の設計行列の下で線形回帰のサブサンプリング保証と、カーネルパラメータ化を判別するための"epsilon}-net引数を組み合わせたものである。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Variable Hyperparameterized Gaussian Kernel using Displaced Squeezed Vacuum State [2.1408617023874443]
  多モードコヒーレント状態は、ハイパーパラメータの定数値を持つガウス核を生成することができる。 この定数ハイパーパラメータは、複雑な学習問題に適用されるときにガウスカーネルの適用を制限する。 マルチモード変位真空状態の可変ハイパーパラメータ化カーネルを実現する。
  論文  参考訳（メタデータ） (2024-03-18T08:25:56Z)
• A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
  ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。 新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。 ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
  論文  参考訳（メタデータ） (2024-01-19T21:11:32Z)
• Gaussian Process Regression under Computational and Epistemic Misspecification [4.5656369638728656]
  大規模データアプリケーションでは、カーネルの低ランクあるいはスパース近似を用いて計算コストを削減できる。 本稿では,そのようなカーネル近似が要素誤差に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-12-14T18:53:32Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering [2.304694255100371]
  カーネルパラメータがカーネル$k$-meansに与える影響について検討する。 特に、以下に、RBFカーネルのパラメータがカーネル$k$-meansを無意味にレンダリングする、定数要素までの低いバウンダリを導出する。
  論文  参考訳（メタデータ） (2020-06-24T08:58:58Z)
• Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels [0.6091702876917279]
  本稿では,コンパクトなサポートを持つカーネル関数のパラメトリック族を導出する手法を提案する。 この種類のカーネルのパラメータは、最大推定値を用いてデータから学習することができる。 これらの近似は、ターゲットGPから直接描画されたデータをモデル化する際に、正確なモデルに対して最小限の誤差を生じさせることを示す。
  論文  参考訳（メタデータ） (2020-06-05T20:44:09Z)
• On the infinite width limit of neural networks with a standard parameterization [52.07828272324366]
  幅が無限大になるにつれて、これらの特性を全て保存する標準パラメータ化の補間の改善を提案する。 実験により,結果のカーネルはNTKパラメータ化の結果とよく似た精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-01-21T01:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。