論文の概要: Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms

• arxiv url: http://arxiv.org/abs/2405.14778v1
• Date: Thu, 23 May 2024 16:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-24 13:46:53.710095
• Title: Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms
• Title（参考訳）: ベクトル値スペクトル正規化学習アルゴリズムの最適速度
• Authors: Dimitri Meunier, Zikai Shen, Mattes Mollenhauer, Arthur Gretton, Zhu Li,
• Abstract要約: ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。 有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
• 参考スコア（独自算出の注目度）: 28.046728466038022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study theoretical properties of a broad class of regularized algorithms with vector-valued output. These spectral algorithms include kernel ridge regression, kernel principal component regression, various implementations of gradient descent and many more. Our contributions are twofold. First, we rigorously confirm the so-called saturation effect for ridge regression with vector-valued output by deriving a novel lower bound on learning rates; this bound is shown to be suboptimal when the smoothness of the regression function exceeds a certain level. Second, we present the upper bound for the finite sample risk general vector-valued spectral algorithms, applicable to both well-specified and misspecified scenarios (where the true regression function lies outside of the hypothesis space) which is minimax optimal in various regimes. All of our results explicitly allow the case of infinite-dimensional output variables, proving consistency of recent practical applications.
• Abstract（参考訳）: ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 これらのスペクトルアルゴリズムには、カーネルリッジ回帰、カーネル主成分回帰、勾配降下の様々な実装などが含まれる。 私たちの貢献は2倍です。 まず, ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を, 学習率の新たな下限を導出することにより厳密に検証し, 回帰関数の滑らかさが一定のレベルを超えた場合, この境界は最適以下であることが示される。 第2に、有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限を、様々な状況において極小最適である、明確に特定されかつ不特定なシナリオ(真の回帰関数が仮説空間の外側にある)の両方に適用する。 全ての結果は、無限次元の出力変数の場合を明示的に許容し、最近の実用的な応用の一貫性を証明している。

関連論文リスト

• A randomized algorithm to solve reduced rank operator regression [27.513149895229837]
  本稿では,無限次元入力空間と出力空間を含むベクトル値回帰問題に対処するアルゴリズムを提案し,解析する。 このアルゴリズムは低ランクベクトル値関数を最適に学習する手法である低ランク回帰のランダム適応である。
  論文  参考訳（メタデータ） (2023-12-28T20:29:59Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Coefficient-based Regularized Distribution Regression [4.21768682940933]
  我々は、確率測度から実数値応答への回帰を目的とした係数に基づく正規化分布回帰を、Hilbert空間(RKHS)上で考える。 回帰関数の正則範囲が異なるアルゴリズムの漸近挙動を包括的に研究した。 最適速度は、いくつかの穏やかな条件下で得られるが、これは1段のサンプル化された最小値の最適速度と一致する。
  論文  参考訳（メタデータ） (2022-08-26T03:46:14Z)
• Robust Regularized Low-Rank Matrix Models for Regression and Classification [14.698622796774634]
  本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。 アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2022-05-14T18:03:48Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
  正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。 最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。 副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
  論文  参考訳（メタデータ） (2021-04-29T07:57:34Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Improved SVRG for quadratic functions [0.0]
  ヘッセン行列 $H$ がランダム対称 $dtimes d$ 行列の期待値である二次函数を最小化する反復アルゴリズムを解析する。 最小二乗回帰、リッジ回帰、線形判別分析、正規化線形判別分析を含むいくつかのアプリケーションでは、各イテレーションの実行時間は$d$に比例する。
  論文  参考訳（メタデータ） (2020-06-01T15:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。