論文の概要: Truncated Kernel Stochastic Gradient Descent on Spheres

• arxiv url: http://arxiv.org/abs/2410.01570v2
• Date: Fri, 4 Oct 2024 13:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 16:54:49.285366
• Title: Truncated Kernel Stochastic Gradient Descent on Spheres
• Title（参考訳）: 球面上のひび割れしたカーネル確率勾配
• Authors: JinHui Bai, Lei Shi,
• Abstract要約: 球面高調波の構造に着想を得て,T-カーネルSGDアルゴリズムを提案する。 T-カーネルSGDは「トランケーション」演算を採用し、勾配降下における直列ベースのカーネル関数の適用を可能にする。 従来のカーネルSGDとは対照的に、TカーネルSGDはバイアスと分散のバランスをとるのにより効果的である。
• 参考スコア（独自算出の注目度）: 1.4583059436979549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the structure of spherical harmonics, we propose the truncated kernel stochastic gradient descent (T-kernel SGD) algorithm with a least-square loss function for spherical data fitting. T-kernel SGD employs a "truncation" operation, enabling the application of series-based kernels function in stochastic gradient descent, thereby avoiding the difficulties of finding suitable closed-form kernel functions in high-dimensional spaces. In contrast to traditional kernel SGD, T-kernel SGD is more effective in balancing bias and variance by dynamically adjusting the hypothesis space during iterations. The most significant advantage of the proposed algorithm is that it can achieve theoretically optimal convergence rates using a constant step size (independent of the sample size) while overcoming the inherent saturation problem of kernel SGD. Additionally, we leverage the structure of spherical polynomials to derive an equivalent T-kernel SGD, significantly reducing storage and computational costs compared to kernel SGD. Typically, T-kernel SGD requires only $\mathcal{O}(n^{1+\frac{d}{d-1}\epsilon})$ computational complexity and $\mathcal{O}(n^{\frac{d}{d-1}\epsilon})$ storage to achieve optimal rates for the d-dimensional sphere, where $0<\epsilon<\frac{1}{2}$ can be arbitrarily small if the optimal fitting or the underlying space possesses sufficient regularity. This regularity is determined by the smoothness parameter of the objective function and the decaying rate of the eigenvalues of the integral operator associated with the kernel function, both of which reflect the difficulty of the estimation problem. Our main results quantitatively characterize how this prior information influences the convergence of T-kernel SGD. The numerical experiments further validate the theoretical findings presented in this paper.
• Abstract（参考訳）: 球面高調波の構造に着想を得て,最小二乗損失関数を持つT-kernel SGDアルゴリズムを提案する。 TカーネルSGDは「トランケーション」演算を用い、直列ベースのカーネル関数を確率勾配下降に適用することで、高次元空間で適切な閉形式カーネル関数を見つけるのが困難になるのを避ける。 従来のカーネルSGDとは対照的に、TカーネルSGDは反復中に仮説空間を動的に調整することでバイアスと分散のバランスをとるのにより効果的である。 提案アルゴリズムの最も重要な利点は、カーネルSGDの固有の飽和問題を克服しつつ、一定のステップサイズ(サンプルサイズに依存しない)を用いて理論的に最適な収束率を達成することができることである。 さらに、球面多項式の構造を利用して等価なTカーネルSGDを導出し、カーネルSGDと比較してストレージと計算コストを大幅に削減する。 典型的には、Tカーネル SGD は、計算複雑性が$\mathcal{O}(n^{1+\frac{d}{d-1}\epsilon})$計算量と$\mathcal{O}(n^{\frac{d}{d-1}\epsilon})$ストレージを必要とする。 この規則性は、目的関数の滑らか度パラメータと、カーネル関数に付随する積分作用素の固有値の減衰率によって決定され、どちらも推定問題の難しさを反映している。 本研究の主な成果は,この先行情報がTカーネルSGDの収束にどのように影響するかを定量的に評価することである。 数値実験により, 本論文で示された理論的知見をさらに検証した。

関連論文リスト

• GRAPE optimization for open quantum systems with time-dependent decoherence rates driven by coherent and incoherent controls [77.34726150561087]
  グラディエントアセンセントパルス工学(GRAPE)法は量子制御の最適化に広く用いられている。 我々は、コヒーレント制御と非コヒーレント制御の両方によって駆動されるオープン量子系の目的関数を最適化するために、GRAPE法を採用する。 状態-状態遷移問題に対する数値シミュレーションによりアルゴリズムの効率を実証する。
  論文  参考訳（メタデータ） (2023-07-17T13:37:18Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence [9.11726703830074]
  本稿では,通信制限条件下で分散最適化問題を解くことを検討する。 CEDASと呼ばれる圧縮精密拡散法について述べる。 特に、いつ時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時時
  論文  参考訳（メタデータ） (2023-01-14T09:49:15Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Improving the Transient Times for Distributed Stochastic Gradient Methods [5.215491794707911]
  拡散適応段階法(EDAS)と呼ばれる分散勾配アルゴリズムについて検討する。 EDASが集中勾配降下(SGD)と同じネットワーク独立収束率を達成することを示す。 我々の知る限り、EDASは$n$のコスト関数の平均が強い凸である場合に最も短い時間を達成する。
  論文  参考訳（メタデータ） (2021-05-11T08:09:31Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• Convergence of Gaussian-smoothed optimal transport distance with sub-gamma distributions and dependent samples [12.77426855794452]
  本稿では,より一般的な設定下でのGOT距離を推定するための収束保証を提供する。 我々の分析における重要なステップは、GOT距離がカーネルの最大誤差距離の族に支配されていることを示すことである。
  論文  参考訳（メタデータ） (2021-02-28T04:30:23Z)
• Spectral density estimation with the Gaussian Integral Transform [91.3755431537592]
  スペクトル密度作用素 $hatrho(omega)=delta(omega-hatH)$ は線形応答論において中心的な役割を果たす。 スペクトル密度を近似する近似量子アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-04-10T03:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。