論文の概要: Complex SGD and Directional Bias in Reproducing Kernel Hilbert Spaces

• arxiv url: http://arxiv.org/abs/2604.23017v1
• Date: Fri, 24 Apr 2026 21:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.102084
• Title: Complex SGD and Directional Bias in Reproducing Kernel Hilbert Spaces
• Title（参考訳）: カーネルヒルベルト空間における複雑なSGDと方向バイアス
• Authors: Natanael Alpay, Emeric Battaglia,
• Abstract要約: 本稿では、複雑なパラメータを許容するSGD(complex SGD)の変種を提案する。 複素ヒルベルト核空間を用いたカーネル回帰問題において、複素SGDの有効性を示す実験結果を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic Gradient Descent (SGD) is a known stochastic iterative method popular for large-scale convex optimization problems due to its simple implementation and scalability. Some objectives, such as those found in complex-valued neural networks, benefit from updates like in SGD and Gradient Descent (GD) with a newly defined ``gradient'' that allows for complex parameters. This complex variant of the SGD/GD methods has already been proposed, but convergence guarantees without analyticity constraints have not yet been provided. We propose a variant of SGD (complex SGD) that allows for complex parameters, and we provide convergence guarantees under assumptions that parallel those from the real setting. Notably, these results extend to GD as well, and with the same set of assumptions, we confirm that some directional bias results extend from the real to the complex setting for kernel regression problems. We provide empirical results demonstrating the efficacy of the complex SGD in kernel regression problems utilizing complex reproducing kernel Hilbert spaces. In particular, we demonstrate we may recover superoscillation functions and Blaschke products from the Fock Space and Hardy Space, respectively, as the optimal functions for a particular choice of a loss function.
• Abstract（参考訳）: Stochastic Gradient Descent (SGD) は、コンパクトな実装とスケーラビリティのため、大規模な凸最適化問題に人気がある確率的反復法として知られている。 SGDやGradient Descent(GD)のような、複雑なパラメータを許容する‘gradient’が新たに定義されたアップデートの恩恵を受ける。 この複雑なSGD/GD法は、既に提案されているが、解析性制約のない収束保証はまだ提供されていない。 本稿では、複雑なパラメータを許容するSGD(complex SGD)の変種を提案し、実際の設定と平行な仮定の下で収束保証を提供する。 特に、これらの結果はGDにも及んでおり、同じ仮定のセットで、ある方向バイアスの結果が実数から核回帰問題への複雑な設定にまで及ぶことが確認できる。 複素再生カーネルヒルベルト空間を用いたカーネル回帰問題において、複素SGDの有効性を示す実験結果を提供する。 特に、損失関数の特定の選択に最適な関数として、フォック空間とハーディ空間から超振動関数とブラシュケ積をそれぞれ回収することを示した。

関連論文リスト

• Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions [3.308257914042897]
  本稿では,大規模教師あり学習のための新しいカーネル勾配統合下降アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。
  論文  参考訳（メタデータ） (2025-10-05T15:04:03Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Kernel Methods for Causal Functions: Dose, Heterogeneous, and Incremental Response Curves [26.880628841819004]
  我々は、一般化されたカーネルリッジ回帰のオリジナル解析により、改良された有限標本率と一様整合性を証明した。 本研究は,本研究の主な成果を,前部および後部ドア基準で同定した反事実分布と因果関数に拡張する。
  論文  参考訳（メタデータ） (2020-10-10T00:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。