論文の概要: Finite-Horizon Input-Output Dynamics of Minibatch Perturbations in AdamW
- arxiv url: http://arxiv.org/abs/2608.19762v1
- Date: Thu, 20 Aug 2026 08:07:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.491075
- Title: Finite-Horizon Input-Output Dynamics of Minibatch Perturbations in AdamW
- Title（参考訳）: アダムWにおけるミニバッチ摂動の有限水平入力出力ダイナミクス
- Abstract要約: ミニバッチは、AdamWが過去の情報をその州に保存しているため、更新以上のトレーニングに影響を与える可能性がある。
本研究では、この遅延効果を1つの勾配更新でのみ異なるペア軌道を用いて検討し、その後のトレーニングシーケンスを共有する。
- 参考スコア（独自算出の注目度）: 8.328108675535562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A minibatch can influence training beyond the update at which it is observed because AdamW stores past gradient information in its optimizer states. We study this delayed effect through paired trajectories that differ only in one gradient update and share the same subsequent training sequence. We formulate AdamW as a finite-horizon input--state--output (ISO) system whose state contains the model parameters and first- and second-moment estimates. Linearizing the joint dynamics yields a signed response operator that maps a localized gradient perturbation to its future loss effects, revealing how optimizer memory shapes their magnitude, timing, and sign. We further derive an exact multistep error decomposition and establish first-order finite-horizon accuracy under local smoothness and controlled activation switching. Experiments validate the response mechanism and optimizer-state effects, while repeated-future analyses reveal substantial prospective structure in delayed influence that can be partially recovered from ISO approximations. Code is available at https://github.com/Kanyooo/Loss_ISO.
- Abstract（参考訳）: ミニバッチは、AdamWが過去の勾配情報をオプティマイザ状態に格納しているため、更新以上のトレーニングに影響を与える可能性がある。
本研究では、この遅延効果を1つの勾配更新でのみ異なるペア軌道を用いて検討し、その後のトレーニングシーケンスを共有する。
我々はAdamWをモデルパラメータと第1および第2モーメント推定を含む有限水平入力出力(ISO)システムとして定式化する。
ジョイントダイナミクスの線形化は、局所的な勾配の摂動を将来の損失効果にマッピングする署名された応答演算子を生成し、最適化メモリがその大きさ、タイミング、符号をいかに形作るかを明らかにする。
さらに, 局所的な滑らかさと制御されたアクティベーションスイッチングの下で, 正確な多段誤差分解を導出し, 一階有限水平精度を確立する。
実験では応答機構とオプティマイザ状態の影響を検証し, 繰り返しフューチャー解析によりISO近似から部分的に回復できる遅延影響のかなりの構造が明らかとなった。
コードはhttps://github.com/Kanyooo/Loss_ISOで入手できる。
関連論文リスト
- Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps [4.422349568747053]
本稿では,大規模モデル事前学習の既定であるウォームアップ安定度学習スケジュール(WSD)の段階について検討する。
提案手法は, 勾配雑音の構造と勾配雑音の構造が正規化するか否かという2つの特性を同時に有する。
論文 参考訳（メタデータ） (2026-07-14T05:21:38Z) - From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。
最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。
次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
論文 参考訳（メタデータ） (2026-07-10T20:59:06Z) - STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations [46.963298896594814]
トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。
ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。
活性化空間におけるトレーニングデータの機能的効果をモデル化する。
論文 参考訳（メタデータ） (2026-06-03T17:59:36Z) - Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling [68.1289208938377]
イベントベースのデータストリームから目の特徴抽出を効率的かつ低エネルギーで行うことができる。
本稿では,特徴抽出のための新しいアーキテクチャである強調型推論状態空間モデル(AISSM)を紹介する。
また、トレーニング効率を向上させる新しい学習手法を開発・評価する。
論文 参考訳（メタデータ） (2026-03-14T18:47:08Z) - Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis [50.48301331112126]
我々は,Visual AutoRegressive モデリングのためのトレーニング不要なトークン削減促進フレームワーク NOVA を提案する。
NOVAは、スケールエントロピー成長の屈折点をオンライン同定することにより、推論中のアクティベーションアクティベーションスケールを適応的に決定する。
実験と解析により、NOVAはシンプルで効果的なトレーニングフリー加速フレームワークとして評価される。
論文 参考訳（メタデータ） (2026-02-01T17:29:42Z) - Performance Evaluation of Ising and QUBO Variable Encodings in Boltzmann Machine Learning [0.7734726150561088]
QUBOは、一階と二階の統計量の間のより大きな交差項を誘導し、フィッシャー情報行列においてより小さな固有値方向を生成する。
イジングエンコーディングは、より等方的曲率とより高速な収束を提供する。
これらの結果は,ボルツマンマシンにおける情報幾何学および有限時間学習力学の表現の形状について明らかにした。
論文 参考訳（メタデータ） (2025-10-15T06:57:23Z) - Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。
効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。
経験的シミュレーションはこれらの主張を裏付ける。
論文 参考訳（メタデータ） (2025-08-16T18:19:34Z) - BEExformer: A Fast Inferencing Binarized Transformer with Early Exits [2.7651063843287718]
BAT(Binarized Early Exit Transformer)とEE(Early Exit)を統合した最初の選択型学習ベーストランスであるBEExformerを紹介する。
BATは符号関数に微分可能な二階近似を用い、重みの符号と大きさの両方を捉える勾配を可能にする。
EEメカニズムは、ソフトルーティング損失推定を伴う中間変圧器ブロック間のエントロピーの分数還元に係わる。
これにより、FLOPを52.08%削減して推論を加速し、深層ネットワークに固有の「過剰な」問題を解くことで精度を2.89%向上させる。
論文 参考訳（メタデータ） (2024-12-06T17:58:14Z) - Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。
本稿では,手話の使用を排除したRGDアルゴリズムを提案する。
提案したRGDアルゴリズムの有効性は実験で広く実証されている。
論文 参考訳（メタデータ） (2023-12-03T02:26:58Z) - Inference and Interference: The Role of Clipping, Pruning and Loss
Landscapes in Differentially Private Stochastic Gradient Descent [13.27004430044574]
ディファレンシャル・プライベート勾配降下(DP-SGD)は、大規模なニューラルネットワーク上でのトレーニングとテスト性能が劣っていることが知られている。
初期と後期の2つのプロセスの挙動を別々に比較する。
DP-SGDは初期進行が遅いが, 最終結果を決定するのは後期の行動であることがわかった。
論文 参考訳（メタデータ） (2023-11-12T13:31:35Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳（メタデータ） (2022-11-27T19:50:37Z) - Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。
In-Training Representation Alignment (ITRA) を提案する。
また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文 参考訳（メタデータ） (2022-11-23T22:23:22Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。