論文の概要: Alignment-Sensitive Minimax Rates for Spectral Algorithms with Learned Kernels

• arxiv url: http://arxiv.org/abs/2509.20294v1
• Date: Wed, 24 Sep 2025 16:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.904893
• Title: Alignment-Sensitive Minimax Rates for Spectral Algorithms with Learned Kernels
• Title（参考訳）: 学習カーネルを用いたスペクトルアルゴリズムのアライメント感度最小値
• Authors: Dongming Huang, Zhifan Li, Yicheng Li, Qian Lin,
• Abstract要約: 我々は、アライメントに敏感な複雑性尺度である有効スパンディメンション(ESD)を導入する。 ESDが少なくとも$K$のシーケンスモデルでは、ミニマックス超過リスクは$sigma2K$とスケールする。 この発見は、適応的特徴学習とスペクトルアルゴリズムの一般化における証明可能な改善との関連性を確立する。
• 参考スコア（独自算出の注目度）: 24.298655732205365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study spectral algorithms in the setting where kernels are learned from data. We introduce the effective span dimension (ESD), an alignment-sensitive complexity measure that depends jointly on the signal, spectrum, and noise level $\sigma^2$. The ESD is well-defined for arbitrary kernels and signals without requiring eigen-decay conditions or source conditions. We prove that for sequence models whose ESD is at most $K$, the minimax excess risk scales as $\sigma^2 K$. Furthermore, we analyze over-parameterized gradient flow and prove that it can reduce the ESD. This finding establishes a connection between adaptive feature learning and provable improvements in generalization of spectral algorithms. We demonstrate the generality of the ESD framework by extending it to linear models and RKHS regression, and we support the theory with numerical experiments. This framework provides a novel perspective on generalization beyond traditional fixed-kernel theories.
• Abstract（参考訳）: カーネルがデータから学習される環境におけるスペクトルアルゴリズムについて検討する。 本稿では,信号,スペクトル,雑音レベル$\sigma^2$に共同で依存するアライメントに敏感な複雑性尺度である有効スパンディメンション(ESD)を導入する。 ESDは、固有デカイ条件やソース条件を必要とせず、任意のカーネルや信号に対して適切に定義されている。 ESDが少なくとも$K$のシーケンスモデルでは、ミニマックス超過リスクは$\sigma^2K$とスケールする。 さらに,過パラメータ化勾配流の解析を行い,ESDを低減できることを示す。 この発見は、適応的特徴学習とスペクトルアルゴリズムの一般化における証明可能な改善との関連性を確立する。 線形モデルとRKHS回帰に拡張することで、ESDフレームワークの汎用性を実証し、数値実験でその理論を支持する。 この枠組みは、従来の固定カーネル理論を超えた一般化に関する新しい視点を提供する。

関連論文リスト

• Nonparametric learning of stochastic differential equations from sparse and noisy data [2.389598109913754]
  強い構造仮定なしでデータから直接ドリフト関数を学習する。 我々は,新しいモンテカルロ法(SMC)を用いた期待最大化法(EM)アルゴリズムを開発した。 EM-SMC-RKHS法により、低データ状態における力学系のドリフト関数を正確に推定できる。
  論文  参考訳（メタデータ） (2025-08-15T17:01:59Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
  観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。 本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
  論文  参考訳（メタデータ） (2023-10-04T15:32:27Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。