論文の概要: Calibrated Target Noise Recovers Curvature from the Gradients

• arxiv url: http://arxiv.org/abs/2611.07671v1
• Date: Thu, 05 Nov 2026 08:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.610504
• Title: Calibrated Target Noise Recovers Curvature from the Gradients
• Title（参考訳）: 勾配から曲率を復元する校正ターゲットノイズ
• Abstract要約: 単純な目標摂動方式は勾配のみから曲率情報を復元するのに十分であることを示す。 本手法は,局所的な出力曲率に偏りを調整したゼロ平均雑音をターゲットに注入する。 実験では、正確な曲率回復、プレコンディショニングに推定器を使用する際の最適化の高速化、早期停止のための推定GGNの有用性が示されている。
• 参考スコア（独自算出の注目度）: 15.774299687418939
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Estimating curvature information from gradients alone is a fundamental problem in machine learning. The challenge becomes particularly acute in settings where only aggregate mini-batch gradients are available, yet curvature information is still required for applications such as preconditioning in optimisation, sampling, and early stopping. Perhaps surprisingly, we show that a simple target-perturbation scheme suffices to recover such curvature information from gradients alone. Our method injects zero-mean noise into the targets, with variance calibrated to the local output curvature. The covariance of the resulting noisy batch gradients then recovers practical curvature matrices, without requiring per-sample gradients, second-order derivatives, or other internal network quantities. For a broad class of non-linear models, our scheme recovers the Generalised Gauss--Newton (GGN) matrix; for feed-forward ReLU networks, it additionally recovers the diagonal blocks of the population Hessian. We demonstrate that the resulting estimator is simple, lightweight, provably optimal, and easy to integrate into existing training pipelines. Experiments demonstrate accurate curvature recovery, faster optimisation when the estimator is used for preconditioning, and the utility of the estimated GGN for early stopping.
• Abstract（参考訳）: 勾配のみから曲率情報を推定することは、機械学習の基本的な問題である。 しかし、最適化やサンプリング、早期停止などのアプリケーションには曲率情報が必要である。 意外なことに、単純な目標摂動スキームは勾配のみからそのような曲率情報を復元するのに十分である。 本手法は,局所的な出力曲率に偏りを調整したゼロ平均ノイズをターゲットに注入する。 結果として生じるノイズの多いバッチ勾配の共分散は、サンプルごとの勾配、二階微分、その他の内部ネットワーク量を必要としない、実用的な曲率行列を復元する。 一般ガウス-ニュートン行列 (GGN) を復元し, フィードフォワードReLUネットワークでは, 人口ヘッセンの対角ブロックを復元する。 得られた推定器は単純で、軽量で、確実に最適であり、既存のトレーニングパイプラインに簡単に統合できることを実証する。 実験では、正確な曲率回復、プレコンディショニングに推定器を使用する際の最適化の高速化、早期停止のための推定GGNの有用性が示されている。

関連論文リスト

• Understanding Practical Optimization in Machine Learning [4.158312416219485]
  現代の機械学習は、古典的な分析におけるアルゴリズムとしばしば異なる実用的な最適化手法に依存している。 この論文は、目的、仮定、更新バイアスを分析し、それらを使用するのではなく、これらの手順によって定義される。 全体として、理論が特徴を保ち、それらの最適化挙動を決定すると、実践的な手法がよりよく理解される。
  論文  参考訳（メタデータ） (2026-10-26T11:00:14Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。