論文の概要: Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions

• arxiv url: http://arxiv.org/abs/2510.04237v1
• Date: Sun, 05 Oct 2025 15:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.537506
• Title: Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions
• Title（参考訳）: 全般的損失と球状根管基底関数をともなうTruncated Kernel Stochastic Gradient Descentの1例
• Authors: Jinhui Bai, Andreas Christmann, Lei Shi,
• Abstract要約: 本稿では,大規模教師あり学習のための新しいカーネル勾配統合下降アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。
• 参考スコア（独自算出の注目度）: 3.308257914042897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel kernel stochastic gradient descent (SGD) algorithm for large-scale supervised learning with general losses. Compared to traditional kernel SGD, our algorithm improves efficiency and scalability through an innovative regularization strategy. By leveraging the infinite series expansion of spherical radial basis functions, this strategy projects the stochastic gradient onto a finite-dimensional hypothesis space, which is adaptively scaled according to the bias-variance trade-off, thereby enhancing generalization performance. Based on a new estimation of the spectral structure of the kernel-induced covariance operator, we develop an analytical framework that unifies optimization and generalization analyses. We prove that both the last iterate and the suffix average converge at minimax-optimal rates, and we further establish optimal strong convergence in the reproducing kernel Hilbert space. Our framework accommodates a broad class of classical loss functions, including least-squares, Huber, and logistic losses. Moreover, the proposed algorithm significantly reduces computational complexity and achieves optimal storage complexity by incorporating coordinate-wise updates from linear SGD, thereby avoiding the costly pairwise operations typical of kernel SGD and enabling efficient processing of streaming data. Finally, extensive numerical experiments demonstrate the efficiency of our approach.
• Abstract（参考訳）: 本稿では,大規模教師あり学習のためのカーネル確率勾配勾配(SGD)アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 球面ラジアル基底関数の無限級数展開を利用することにより、この戦略は確率勾配を有限次元の仮説空間に投影し、バイアス分散トレードオフに従って適応的にスケールし、一般化性能を高める。 カーネル誘起共分散演算子のスペクトル構造を新たに推定し,最適化と一般化解析を統一する解析フレームワークを開発する。 我々は、最後の反復と接点平均が極小最大速度で収束することを証明し、再生核ヒルベルト空間において最適な強収束を確立する。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。 さらに、提案アルゴリズムは、線形SGDからの座標ワイズ更新を取り入れ、カーネルSGDの典型的なコスト対演算を回避し、ストリーミングデータの効率的な処理を可能にすることにより、計算複雑性を著しく低減し、最適なストレージ複雑性を実現する。 最後に、我々のアプローチの効率を実証する広範な数値実験を行った。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Truncated Kernel Stochastic Gradient Descent on Spheres [1.4583059436979549]
  球面高調波の構造に着想を得て,T-カーネルSGDアルゴリズムを提案する。 TカーネルSGDは、球面データフィッティングのための最小二乗損失関数を有する。
  論文  参考訳（メタデータ） (2024-10-02T14:09:51Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Generalization Properties of Stochastic Optimizers via Trajectory Analysis [48.38493838310503]
  本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。 本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:58:32Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。