論文の概要: Population Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise
- arxiv url: http://arxiv.org/abs/2605.12648v1
- Date: Tue, 12 May 2026 18:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.621147
- Title: Population Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise
- Title（参考訳）: DP-SGDによるコルモゴロフ・アルノルドネットワークの人口リスク境界
- Authors: Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft,
- Abstract要約: 我々は,ミニバッチSGDとクリッピングで訓練したコンベックスモゴロフ・アルノルドネットワーク(KAN)の最初の集団リスク境界を確立する。
我々は、現在の騒音と高い確率の人口を吸収する不活性によって困難に対処する。
- 参考スコア（独自算出の注目度）: 22.771383829899786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We establish the first population risk bounds for Kolmogorov-Arnold Networks (KANs) trained by mini-batch SGD with gradient clipping, covering non-private SGD as well as differentially private SGD (DP-SGD) with Gaussian perturbations that interpolate between independent and temporally correlated noise. This setting is substantially closer to practice than prior KAN theory along two axes: training is by mini-batch SGD, the standard recipe for modern networks, rather than full-batch gradient descent (GD); and correlated-noise mechanisms have empirically shown a more favorable privacy-utility tradeoff than independent-noise mechanisms. Our results cover the corresponding full-batch GD and independent-noise DP-GD results for KANs by Wang et al. (2026), while yielding sharper fixed-second-layer specializations. The technical core is a new analysis route for correlated-noise DP training in the non-convex regime. Temporal dependence breaks the conditional-centering structure underlying standard one-step SGD arguments, and the projection step obstructs the exact cancellation structure of correlated perturbations. We address these difficulties through an auxiliary unprojected dynamics, a shifted iterate that absorbs the current noise perturbation, and a high-probability bootstrap certifying projection inactivity. Combining this optimization analysis with a stability-based generalization argument yields the stated population risk bounds. To the best of our knowledge, this is the first optimization and population risk analysis of a correlated-noise mechanism for DP training beyond convex learning, in particular for neural networks.
- Abstract（参考訳）: 我々は,非プライベートなSGDをカバーし,非プライベートなSGD(DP-SGD)と独立性と時間性に相関するノイズを補間するガウス的摂動を含むミニバッチSGDにより訓練されたコルモゴロフ・アルノルドネットワーク(KAN)の最初の集団リスク境界を確立する。
トレーニングは、完全バッチ勾配降下(GD)ではなく、現代的なネットワークの標準的なレシピであるミニバッチSGD(英語版)によるものであり、相関ノイズ機構は、独立ノイズメカニズムよりも、より好ましいプライバシーとユーティリティのトレードオフを実証的に示している。
Wang et al (2026) によるkans の完全バッチ GD と独立ノイズ DP-GD について検討した。
技術的中核は非凸系における相関ノイズDP訓練のための新しい解析経路である。
時間的依存は、標準のワンステップSGD引数に基づく条件中心構造を破り、プロジェクションステップは相関摂動の正確なキャンセル構造を妨害する。
これらの課題に対処するためには、補助的未計画のダイナミックス、現在のノイズの摂動を吸収するシフトしたイテレーション、高確率ブートストラップによるプロジェクション不活性化等がある。
この最適化分析と安定性に基づく一般化の議論を組み合わせることで、人口リスク境界が得られる。
我々の知る限り、これは、特にニューラルネットワークにおいて、凸学習を超えたDPトレーニングのための相関ノイズ機構の最初の最適化と集団リスク分析である。
関連論文リスト
- Learning bounds for doubly-robust covariate shift adaptation [8.24901041136559]
トレーニングドメインとテストドメイン間の分散シフトは、マシンラーニングにとって重要な課題である。
Doubly-robust (DR) 推定器は、密度比推定とパイロット回帰モデルを組み合わせる。
本稿では,DR推定器の非漸近学習境界を初めて確立する。
論文 参考訳（メタデータ） (2025-11-14T06:46:23Z) - Private Rate-Constrained Optimization with Applications to Fair Learning [39.172158806012966]
差分プライバシー(DP)下における制約問題について検討する。
我々は、レート制約問題のラグランジアン定式化を解決するグラディエント・Descent-Ascent(SGDA)アルゴリズムの変種であるRaCO-DPを開発する。
論文 参考訳（メタデータ） (2025-05-28T17:55:01Z) - On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。
本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。
本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
論文 参考訳（メタデータ） (2024-12-27T20:29:47Z) - Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy [4.887917220146243]
DP-SGD(DP-SGD)を訓練した2層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることは可能であることを示す。
これにより、既存の隠れ状態のプライバシー分析が利用でき、ノイズの多いサイクリックなミニバッチ勾配降下(NoisyCGD)に対しても正確なプライバシー境界を提供する。
ベンチマーク分類タスクにおける実証的な結果から、NoisyCGDは2層ReLUネットワークに適用されたDP-SGDと同等のプライバシー利用トレードオフを達成できることが示された。
論文 参考訳（メタデータ） (2024-07-05T22:43:32Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Differentially Private SGDA for Minimax Problems [83.57322009102973]
本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。
これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
論文 参考訳（メタデータ） (2022-01-22T13:05:39Z) - Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。
本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
論文 参考訳（メタデータ） (2021-12-01T21:43:34Z) - Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization [13.742100810492014]
機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
論文 参考訳（メタデータ） (2021-10-22T10:22:48Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。