論文の概要: The Nyström method for convex loss functions

• arxiv url: http://arxiv.org/abs/2006.10016v4
• Date: Fri, 14 Mar 2025 17:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 15:30:51.59293
• Title: The Nyström method for convex loss functions
• Title（参考訳）: 凸損失関数に対するNyström法
• Authors: Andrea Della Vecchia, Ernesto De Vito, Jaouad Mourtada, Lorenzo Rosasco,
• Abstract要約: 仮説空間は与えられたヒルベルト空間内のランダム部分空間からなる古典的経験的リスク計算の拡張について検討する。 ランダムな部分空間を使うことは自然に計算上の利点をもたらすが、重要な問題は学習精度を損なうかどうかである。
• 参考スコア（独自算出の注目度）: 15.389608666270817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate an extension of classical empirical risk minimization, where the hypothesis space consists of a random subspace within a given Hilbert space. Specifically, we examine the Nystr\"om method where the subspaces are defined by a random subset of the data. This approach recovers Nystr\"om approximations used in kernel methods as a specific case. Using random subspaces naturally leads to computational advantages, but a key question is whether it compromises the learning accuracy. Recently, the tradeoffs between statistics and computation have been explored for the square loss and self-concordant losses, such as the logistic loss. In this paper, we extend these analyses to general convex Lipschitz losses, which may lack smoothness, such as the hinge loss used in support vector machines. Our main results show the existence of various scenarios where computational gains can be achieved without sacrificing learning performance. When specialized to smooth loss functions, our analysis recovers most previous results. Moreover, it allows to consider classification problems and translate the surrogate risk bounds into classification error bounds. Indeed, this gives the opportunity to compare the effect of Nystr\"om approximations when combined with different loss functions such as the hinge or the square loss.
• Abstract（参考訳）: 仮説空間は与えられたヒルベルト空間内のランダム部分空間からなる古典的経験的リスク最小化の拡張について検討する。 具体的には,データのランダムな部分集合によって部分空間が定義されるNystr\"om法について検討する。 このアプローチは、特定のケースとしてカーネルメソッドで使用されるNystr\"om近似を復元する。 ランダムな部分空間を使うことは自然に計算上の利点をもたらすが、重要な問題は学習精度を損なうかどうかである。 近年,統計学と計算学のトレードオフは,ロジスティック損失などの正方損失と自己一致損失に対して検討されている。 本稿では,これらの解析を一般凸リプシッツ損失にまで拡張し,支持ベクトルマシンで使用されるヒンジ損失などの滑らかさを欠く可能性がある。 本研究の主な成果は、学習性能を犠牲にすることなく計算ゲインを達成できる様々なシナリオの存在を示している。 スムーズな損失関数に特化すると、我々の分析は最も前の結果を回復する。 さらに、分類問題を考慮し、代理リスク境界を分類誤差境界に変換することができる。 実際、これはヒンジや正方形損失のような異なる損失関数と組み合わせた場合、Nystr\"om近似の効果を比較する機会を与える。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
  古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。 我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
  論文  参考訳（メタデータ） (2023-05-05T13:37:34Z)
• Regularized ERM on random subspaces [17.927376388967144]
  我々は、Nystromがカーネルメソッドに近づいた特殊なケースとして、データのランダムなサブセットにまたがるデータ依存部分空間を考える。 ランダムな部分空間を考えると自然に計算上の節約につながるが、問題は対応する学習精度が劣化するかどうかである。
  論文  参考訳（メタデータ） (2022-12-04T16:12:11Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• More is Less: Inducing Sparsity via Overparameterization [2.885175627590247]
  ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。 驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。 我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
  論文  参考訳（メタデータ） (2021-12-21T07:55:55Z)
• Learning from Non-Random Data in Hilbert Spaces: An Optimal Recovery Perspective [12.674428374982547]
  最適回復の観点から回帰問題を考察する。 まず、有限次元ヒルベルト空間における任意の回復写像の最悪のケース誤差を計算する半定値プログラムを開発する。 最適回復法は,アルゴリズム的な視点からユーザフレンドリな式を提供する。
  論文  参考訳（メタデータ） (2020-06-05T21:49:07Z)
• Classification vs regression in overparameterized regimes: Does the loss function matter? [21.75115239010008]
  最小二乗最小ノルムで得られる解は、通常回帰に使用されるもので、ハードマージン支援ベクトルマシン(SVM)が生成したものと同一であることを示す。 本研究は, トレーニングフェーズ(最適化)とテストフェーズ(一般化)において, 損失関数の役割と特性が全く異なることを示すものである。
  論文  参考訳（メタデータ） (2020-05-16T17:58:25Z)
• Supervised Learning: No Loss No Cry [51.07683542418145]
  教師付き学習は最小化するために損失関数の仕様を必要とする。 本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。 損失を学習するための原則的な手順をいかに提供するかを示す。
  論文  参考訳（メタデータ） (2020-02-10T05:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。