論文の概要: Error Bounds for Learning with Vector-Valued Random Features

• arxiv url: http://arxiv.org/abs/2305.17170v2
• Date: Wed, 15 Nov 2023 00:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 20:26:21.593422
• Title: Error Bounds for Learning with Vector-Valued Random Features
• Title（参考訳）: ベクトル値ランダム特徴を用いた学習のための誤差境界
• Authors: Samuel Lanthaler, Nicholas H. Nelsen
• Abstract要約: 本稿では,ベクトル値ランダム特徴量(RF)を用いた学習の包括的誤り解析を提供する。 この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発された。
• 参考スコア（独自算出の注目度）: 2.375038919274297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides a comprehensive error analysis of learning with vector-valued random features (RF). The theory is developed for RF ridge regression in a fully general infinite-dimensional input-output setting, but nonetheless applies to and improves existing finite-dimensional analyses. In contrast to comparable work in the literature, the approach proposed here relies on a direct analysis of the underlying risk functional and completely avoids the explicit RF ridge regression solution formula in terms of random matrices. This removes the need for concentration results in random matrix theory or their generalizations to random operators. The main results established in this paper include strong consistency of vector-valued RF estimators under model misspecification and minimax optimal convergence rates in the well-specified setting. The parameter complexity (number of random features) and sample complexity (number of labeled data) required to achieve such rates are comparable with Monte Carlo intuition and free from logarithmic factors.
• Abstract（参考訳）: 本稿では,ベクトル値ランダム特徴を用いた学習の包括的誤り解析を行う。 この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発されたが、それでも既存の有限次元解析に適用し改善する。 文献に匹敵する研究とは対照的に、ここで提案されているアプローチはリスク関数の直接解析に依存しており、ランダム行列の観点で明示的なrfリッジ回帰解式を完全に避けている。 これにより、ランダム行列理論やそれらのランダム作用素への一般化における集中結果の必要性が排除される。 本研究の主な成果は, モデル不特定条件下でのベクトル値RF推定器の強い整合性と, 最適収束率の最小化である。 そのようなレートを達成するのに必要なパラメータ複雑性(ランダムな特徴の数)とサンプル複雑性(ラベル付きデータの数)は、モンテカルロの直観と同等であり、対数係数を持たない。

関連論文リスト

• Dimension-free deterministic equivalents and scaling laws for random feature regression [11.607594737176973]
  テスト誤差は特徴写像固有値のみに依存する閉形式式によってよく近似されていることを示す。 特に、近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である。
  論文  参考訳（メタデータ） (2024-05-24T16:43:26Z)
• A general error analysis for randomized low-rank approximation with application to data assimilation [42.57210316104905]
  中心行列および非標準行列に対するフロベニウスノルムにおける低ランク近似誤差の解析のための枠組みを提案する。 最小限の仮定の下では、期待と確率の正確な境界を導出する。 私たちの境界には、プロパティを導出し、実践的な選択を動機付けるための明確な解釈があります。
  論文  参考訳（メタデータ） (2024-05-08T04:51:56Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。