論文の概要: Statistical and Privacy Guarantees for Deep M-Regression via Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2611.07490v1
• Date: Thu, 05 Nov 2026 05:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.560581
• Title: Statistical and Privacy Guarantees for Deep M-Regression via Stochastic Gradient Langevin Dynamics
• Title（参考訳）: 確率勾配ランゲヴィンダイナミクスを用いた深部M-Regressionの統計的・プライバシ保証
• Abstract要約: 我々は、勾配ランゲヴィンダイナミクス(SGLD)を用いて訓練された深度非パラメトリック回帰について研究する。 我々は,ネットワーク近似誤差,統計複雑性,SGLD軌道に沿って蓄積されるアルゴリズムコストを同時に考慮する余剰リスク境界を確立する。 サンプルごとのクリッピングSGLDに対して、f-DPの正確な保証と、提案した推定器に対する$-GDPの保証を確立する。
• 参考スコア（独自算出の注目度）: 2.3863052459868297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we study deep nonparametric regression trained via stochastic gradient Langevin dynamics (SGLD), a variant of stochastic gradient descent that injects carefully calibrated Gaussian noise during optimization. Using a PAC-Bayesian analysis tailored to deep ReLU networks, we establish an excess-risk bound that simultaneously accounts for network approximation error, statistical complexity, and the algorithmic cost accumulated along the SGLD trajectory. Under a Bernstein condition and within a stable SGLD regime, the excess-risk bound contains a stochastic term whose coefficient is inversely proportional to the variance of injected noise, while the estimator retains the optimal rate for nonparametric regression under the Hölder smoothness condition up to logarithmic factors. This result provides an approximation-error-aware, rate-optimal statistical perspective on the widely observed generalization benefits of moderate SGLD noise. For per-sample clipped SGLD, we further establish an exact f-DP guarantee and the corresponding asymptotic $μ$-GDP guarantee for the proposed estimator. We establish statistical convergence rates and differential privacy guarantees for DNN estimators trained using SGLD, while explicitly accounting for both network approximation error and the effect of injected noise in the excess-risk bound. Extensive simulation studies and analyses of two real datasets examine the finite-sample predictive performance and privacy-utility behavior of the proposed procedure.
• Abstract（参考訳）: 本稿では,確率勾配Langevin dynamics(SGLD)を用いて学習した深い非パラメトリック回帰について検討する。 深部ReLUネットワークに適したPAC-Bayesian解析を用いて、ネットワーク近似誤差、統計複雑性、SGLD軌道に沿って蓄積されるアルゴリズムコストを同時に考慮した過剰リスク境界を確立する。 ベルンシュタイン条件と安定なSGLD条件の下では、余剰リスク境界は射出雑音の分散に逆比例する確率項を含むが、推定子はヘルダー滑らか度条件下での非パラメトリック回帰の最適速度を対数因子まで保持する。 この結果は、中等度SGLD雑音の広範に観測された一般化の利点について、近似エラー認識、レート-最適統計的視点を提供する。 サンプルごとのクリッピングSGLDについては、f-DP保証とそれに対応する$μ$-GDP保証をさらに確立する。 我々は,SGLDを用いて訓練したDNN推定器の統計的収束率と差分プライバシー保証を確立するとともに,ネットワーク近似誤差と余剰リスク境界における入射雑音の影響を明示的に考慮する。 提案手法の有限サンプル予測性能とプライバシ・ユーティリティの挙動について,2つの実データセットの広範囲にわたるシミュレーション研究と解析を行った。

関連論文リスト

• Retrieval-Guided Fine-Tuning as Noisy Estimation: Risk bounds and Architectural Analysis [1.381684956393831]
  Retrieval-Guided Fine-Tuning (RAG-FT)は、検索したデータをトレーニング対象に直接組み込むが、トレーニング中のノイズ検索の統計的結果は理論的には不十分である。 RAG-FTが目標と全コーパスの両方のトレーニングよりも低いリスクを達成できる明示的な有限サンプル条件を導出する。 我々は、注意推定器のバイアスが正確な検索でも$(n2q)$とばらつき、OLSリスクはすべてのノイズに対して$(d/n)$であることを示した。
  論文  参考訳（メタデータ） (2026-09-13T12:51:02Z)
• Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models [5.501082429793833]
  スコアベースの生成モデル(SGM)は、幅広いアプリケーションにわたるデータ生成において印象的なパフォーマンスを実現している。 これらのモデルは通常、微分目標を最小化することで訓練されるが、勾配による最適化保証は限定的のままである。
  論文  参考訳（メタデータ） (2026-07-06T08:07:15Z)
• Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
  勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。 我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
  論文  参考訳（メタデータ） (2026-05-25T16:18:39Z)
• Flatness-Aware Stochastic Gradient Langevin Dynamics [8.884140046635268]
  ディープラーニングアルゴリズムの一般化は、ロスランドスケープにおける平坦なミニマの追求に収束する。 グラディエント・ランゲヴィン・ダイナミクス(SGLD)は、そのような低トレース正規化目標を確立するバイアスを与えないことを示す。
  論文  参考訳（メタデータ） (2025-10-02T16:24:46Z)
• SPRINT: Stochastic Performative Prediction With Variance Reduction [18.735898645810405]
  Performative Prediction(PP)は、機械学習(ML)モデルのためのアルゴリズムフレームワークで、モデルのデプロイメントがトレーニングされたデータの分散に影響を与える。 本稿では,SSPS実験による性能予測という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-22T00:56:17Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。