論文の概要: Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2601.22409v2
• Date: Wed, 04 Feb 2026 17:03:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 15:07:33.6083
• Title: Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks
• Title（参考訳）: Kolmogorov-Arnoldネットワーク上の勾配Descentに対する最適化、一般化、微分プライバシー境界
• Authors: Puyu Wang, Junyu Zhou, Philipp Liznerski, Marius Kloft,
• Abstract要約: Kolmogorov--Arnold Networks (KAN) は、最近標準イテレーションの代替となる構造化された代替品として登場した。 本稿では,2層カンを訓練するための勾配勾配勾配(GD)を解析する。 差分プライバシー下でのトレーニングダイナミクス,一般化,実用性を特徴付ける一般境界を導出する。
• 参考スコア（独自算出の注目度）: 18.128384228564883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov--Arnold Networks (KANs) have recently emerged as a structured alternative to standard MLPs, yet a principled theory for their training dynamics, generalization, and privacy properties remains limited. In this paper, we analyze gradient descent (GD) for training two-layer KANs and derive general bounds that characterize their training dynamics, generalization, and utility under differential privacy (DP). As a concrete instantiation, we specialize our analysis to logistic loss under an NTK-separable assumption, where we show that polylogarithmic network width suffices for GD to achieve an optimization rate of order $1/T$ and a generalization rate of order $1/n$, with $T$ denoting the number of GD iterations and $n$ the sample size. In the private setting, we characterize the noise required for $(ε,δ)$-DP and obtain a utility bound of order $\sqrt{d}/(nε)$ (with $d$ the input dimension), matching the classical lower bound for general convex Lipschitz problems. Our results imply that polylogarithmic width is not only sufficient but also necessary under differential privacy, revealing a qualitative gap between non-private (sufficiency only) and private (necessity also emerges) training regimes. Experiments further illustrate how these theoretical insights can guide practical choices, including network width selection and early stopping.
• Abstract（参考訳）: Kolmogorov--Arnold Networks (KANs) は、最近標準MPPの代替として構造的に現れたが、トレーニングダイナミクス、一般化、プライバシ特性の原則的理論は依然として限られている。 本稿では,2層カンをトレーニングするための勾配降下(GD)を解析し,そのトレーニングダイナミクス,一般化,実用性を特徴付ける一般境界を差分プライバシー(DP)下で導出する。 具体的インスタンス化として、NTK分離可能な仮定の下でロジスティック損失の解析を専門とし、GDが1/T$の最適化率と1/n$の一般化率を達成するのに十分であることを示す。 プライベートな設定では、$(ε,δ)$-DPに必要なノイズを特徴づけ、次数$\sqrt{d}/(nε)$($d$の入力次元を持つ)の効用境界を求め、一般凸リプシッツ問題に対する古典的な下界と一致する。 以上の結果から,多言語的幅が十分であるだけでなく,差分プライバシー下でも必要であることが示唆され,非私的(十分のみ)と私的(必要)の訓練体制の質的ギャップが明らかとなった。 さらに実験では、これらの理論的な洞察が、ネットワーク幅の選択や早期停止など、実践的な選択をガイドする方法が示されている。

関連論文リスト

• Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee [36.82471440872803]
  動的微分独立分散DP手法(Dyn-D$2$P)を提案する。 Dyn-D$2$P は勾配収束に基づく勾配クリッピング境界と雑音レベルを動的に調整する。 ベンチマークデータセットの実験では、固定レベルノイズを用いた場合よりもDyn-D$2$の方が優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-10T13:57:57Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Spatial Supply Repositioning with Censored Demand Data [10.797160099834306]
  我々は、一方通行のオンデマンド車両共有サービスによるネットワーク在庫システムについて検討する。 このような一般的な在庫ネットワークにおいて最適なポリシーを見つけることは解析的にも計算的にも困難である。 我々の研究は、共有モビリティビジネスの生存性における在庫管理の重要性を強調している。
  論文  参考訳（メタデータ） (2025-01-31T15:16:02Z)
• Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
  本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。 DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。 本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
  論文  参考訳（メタデータ） (2024-11-27T00:48:48Z)
• Differentially Private Domain Adaptation with Theoretical Guarantees [46.37771025567305]
  多くのアプリケーションでは、ラベル付きデータの処分におけるラベル付きデータはプライバシー上の制約を受けており、比較的制限されている。 これは、パブリックソースからプライベートターゲットドメインへのドメイン適応を監督する現代の問題である。 我々は、理論的な学習保証の恩恵を受けるために、一般の学習者を利用する。
  論文  参考訳（メタデータ） (2023-06-15T04:03:06Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
  我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。 我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。 これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
  論文  参考訳（メタデータ） (2022-03-07T22:56:09Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。