論文の概要: Exact information accounting for SGD methods

• arxiv url: http://arxiv.org/abs/2610.00446v1
• Date: Wed, 30 Sep 2026 17:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.661022
• Title: Exact information accounting for SGD methods
• Title（参考訳）: SGD法における厳密な情報会計
• Abstract要約: 勾配降下(SGD)の正確な情報理論解析を行う。 プレコンディショニングされたSGDステップはガウスベイズモデルの後方平均更新であることを示す。 アイデンティティは、曲率プリコンディショナーが更新に入る方法を決定する。
• 参考スコア（独自算出の注目度）: 0.42671348654734564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an alternative to the standard geometric analyses, we give an exact, information-theoretic analysis of stochastic gradient descent (SGD) and its variants. We show that a preconditioned SGD step is the posterior-mean update of a Gaussian Bayes model, and that its one-step regret splits into an intrinsic-time cost and a change in comparator information. The split extends to an identity for the objective itself. Convex convergence, strict-saddle-point escape, the link between flatness and generalization, the standard learning-rate schedules, adaptive optimizers, and the noisy, momentum, heavy-tailed, and gradient-free variants of SGD each correspond to a term or a special case of this identity. We measure its terms on synthetic and real training runs. On real networks it attributes the slack of classical convergence bounds to the terms their derivations drop and separates optimizers that reach the same training loss. That separation follows the number and consistency of their steps. Its relation to which of them generalizes better differs between networks. For gradient-free SGD the identity determines how a curvature preconditioner should enter the update. The sharpness-based generalization certificate it yields, with a data-independent isotropic prior, is vacuous at network scale unless the curvature spectrum is nearly flat across all parameters.
• Abstract（参考訳）: 標準幾何解析の代替として、確率勾配降下(SGD)とその変種を正確に情報理論で解析する。 予備条件付きSGDステップはガウスベイズモデルの後半期更新であり、その一段階の後悔は本質的な時間的コストとコンパレータ情報の変化に分割されることを示す。 分割は目的そのもののアイデンティティにまで及ぶ。 凸収束、厳密なサドルポイントエスケープ、平坦性と一般化のリンク、標準学習率スケジュール、適応最適化器、およびSGDのノイズ、運動量、重み付き、勾配のない変種は、それぞれこのアイデンティティの項または特別なケースに対応する。 私たちは、その用語を、合成および実際のトレーニングランで測定します。 実ネットワーク上では、古典的収束の遅れは、それらの導出が減少する条件に起因し、同じトレーニング損失に達する最適化者を分離する。 この分離はステップの数と一貫性に従う。 それらのどちらがよりよく一般化するかは、ネットワークによって異なる。 勾配のないSGDの場合、IDは曲率プリコンディショナーが更新に入る方法を決定する。 シャープネスに基づく一般化証明は、すべてのパラメータにわたって曲率スペクトルがほぼ平らでない限り、データ非依存の等方性事前を持つ。

関連論文リスト

• Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs [3.7044133020722954]
  Online Kernel Supervised principal Component Analysis (OKSPCA)は、有限乱数係数座標における中心となるクロスモーメントと、確立された目的に対するAdamスタイルの正則基底更新を組み合わせたものである。 有限乱数係数座標における中心的クロスモーメントと、確立された目的に対するAdamスタイルの正規直交基底更新を組み合わせたOKSPCAについて、これらの区別について検討する。
  論文  参考訳（メタデータ） (2026-09-17T14:19:29Z)
• Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise [0.0]
  各反復における摂動共分散は、過去の実SGD履歴に依存するが、現在または将来のランダム性には依存しない。 この予測可能性により、条件付きガウス相対エントロピーの議論が可能になり、適応的な仮想ノイズ幾何学を持つSGDの一般化境界が得られる。 このフレームワークは、アルゴリズムを変更することなく、仮想摂動解析を履歴依存SGDに拡張しながら、固定等方性と幾何認識境界を特別なケースとして回復する。
  論文  参考訳（メタデータ） (2026-04-30T08:54:42Z)
• Performance Evaluation of Ising and QUBO Variable Encodings in Boltzmann Machine Learning [0.7734726150561088]
  QUBOは、一階と二階の統計量の間のより大きな交差項を誘導し、フィッシャー情報行列においてより小さな固有値方向を生成する。 イジングエンコーディングは、より等方的曲率とより高速な収束を提供する。 これらの結果は,ボルツマンマシンにおける情報幾何学および有限時間学習力学の表現の形状について明らかにした。
  論文  参考訳（メタデータ） (2025-10-15T06:57:23Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。