論文の概要: Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise

• arxiv url: http://arxiv.org/abs/2605.00064v1
• Date: Thu, 30 Apr 2026 08:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.665737
• Title: Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise
• Title（参考訳）: 予測可能な仮想雑音を有する確率的勾配の情報理論一般化境界
• Authors: Mohammad Partohaghighi,
• Abstract要約: 各反復における摂動共分散は、過去の実SGD履歴に依存するが、現在または将来のランダム性には依存しない。 この予測可能性により、条件付きガウス相対エントロピーの議論が可能になり、適応的な仮想ノイズ幾何学を持つSGDの一般化境界が得られる。 このフレームワークは、アルゴリズムを変更することなく、仮想摂動解析を履歴依存SGDに拡張しながら、固定等方性と幾何認識境界を特別なケースとして回復する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information-theoretic generalization bounds analyze stochastic optimization by relating expected generalization error to the mutual information between learned parameters and training data. Virtual perturbation analyses of SGD add auxiliary Gaussian noise only in the proof, making mutual information tractable while leaving the actual SGD trajectory unchanged. Existing bounds, however, typically require perturbation covariances to be fixed independently of the optimization history, limiting their ability to represent geometries induced by moving gradient statistics, preconditioners, curvature proxies, and other pathwise information. We introduce predictable history-adaptive virtual perturbations, where the perturbation covariance at each iteration may depend on the past real SGD history but not on current or future randomness. This predictability enables a conditional Gaussian relative-entropy argument and yields generalization bounds for SGD with adaptive virtual-noise geometry. The bounds replace fixed sensitivity and gradient-deviation terms with conditional adaptive counterparts, include an output-sensitivity penalty from accumulated perturbation covariance, and reduce the deviation term to a conditional variance only under conditional unbiasedness. Since adaptive covariances may be data-dependent, we separate local Gaussian smoothing from global reference-kernel comparison. The resulting bound includes a covariance-comparison cost measuring the KL price of using an admissible reference geometry different from the actual adaptive covariance. Fixed-noise-style bounds are recovered under admissible synchronization, such as deterministic, public, or prefix-observable covariance rules. The framework recovers fixed isotropic and geometry-aware bounds as special cases while extending virtual perturbation analysis to history-dependent SGD without modifying the algorithm.
• Abstract（参考訳）: 情報理論の一般化境界は、予測一般化誤差と学習パラメータと学習データ間の相互情報とを関連付けて確率的最適化を解析する。 SGDの仮想摂動解析は証明にのみ補助的なガウスノイズを付加し、実際のSGD軌道をそのまま残しながら相互情報を抽出できるようにする。 しかし、既存の境界は、通常、最適化履歴とは独立に摂動共変を固定し、移動勾配統計、前条件、曲率プロキシ、その他の経路情報によって誘導される幾何学を表現する能力を制限する。 予測可能な履歴適応型仮想摂動を導入し、各反復における摂動共分散は過去の実SGD履歴に依存するが、現在のランダム性や将来のランダム性には依存しない。 この予測可能性により、条件付きガウス相対エントロピーの議論が可能になり、適応的な仮想ノイズ幾何学を持つSGDの一般化境界が得られる。 境界は、条件適応性のある条件に置換され、蓄積された摂動共分散から出力感度のペナルティが与えられ、条件不偏性の下でのみ条件分散への偏差項が減少する。 適応共分散はデータ依存である可能性があるので、グローバル参照カーネル比較から局所ガウス滑らか化を分離する。 得られた境界は、実際の適応的共分散とは異なる許容可能な参照幾何を使用するKL価格を測定する共分散比較コストを含む。 固定ノイズスタイルのバウンダリは、決定論的、パブリック、プレフィックス可観測共分散ルールなどの許容同期の下で復元される。 このフレームワークは、アルゴリズムを変更することなく、仮想摂動解析を履歴依存SGDに拡張しながら、固定等方性と幾何認識境界を特別なケースとして回復する。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
  非ガウス共変量の設定における線形回帰の計算について検討する。 本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2024-12-04T20:31:47Z)
• Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias [8.668428992331808]
  我々は,線形逆問題に対処する際,カーネルリッジ(レス)回帰のためのソボレフノルム学習曲線を開発した。 この結果から, 逆問題におけるPDE演算子は分散を安定化し, 固定次元問題に対して良性オーバーフィッティングを行うことが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T14:54:30Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Variational Nonlinear Kalman Filtering with Unknown Process Noise Covariance [24.23243651301339]
  本稿では,近似ベイズ推定原理に基づく非線形状態推定とモデルパラメータの同定手法を提案する。 シミュレーションおよび実世界のデータを用いて,レーダ目標追尾法の性能を検証した。
  論文  参考訳（メタデータ） (2023-05-06T03:34:39Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。