論文の概要: Sampling and Curvature in First-Exit Comparisons for Momentum SGD

• arxiv url: http://arxiv.org/abs/2610.25191v1
• Date: Sun, 18 Oct 2026 11:24:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:19:13.205017
• Title: Sampling and Curvature in First-Exit Comparisons for Momentum SGD
• Title（参考訳）: モーメントムSGDの初出比較におけるサンプリングと曲率
• Abstract要約: 運動量SGDの第一出口予測は、点次勾配法則が省略するサンプリング情報に依存する。 同じ点法則と一致したイド運動量力学を持つ強い凸有限プールは、異なる再シャッフル出口を持つことができる。 一次元の永続的なサンプリングのために、我々は有限レート切替プロセスとの明示的な$O(h)$平均外比較を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: First-exit prediction for momentum SGD depends on sampling information that pointwise gradient laws omit. Strongly convex finite pools with identical pointwise laws and matched iid momentum dynamics can have different reshuffled exits; even analytic pools with uniformly close pointwise laws can have separated exit probabilities. For persistent sampling in one dimension, we establish an explicit $O(h)$ mean-exit comparison with a finite-rate switching process under nonvanishing component velocities and step-size conditions; iid sampling instead averages to an ODE. Retaining realized minibatches and sampled curvature yields finite-window exit brackets beyond this regime. In 32 trained ridge-logistic runs, 29 meet prespecified targets with rounding-certified brackets; an enclosure control explains most of the width advantage. Exact-real certificates establish finite means at the original tested radii for three ResNet-18 checkpoints and give local finite-mean conditions for tanh and ViT networks; their upper bounds remain loose, and original-radius ViT mean guarantees remain unresolved despite 128 fresh continuation paths. A two-network replication gives 32/32 successful seeds in each of four finite-path persistence comparisons. Independent equal-length controls retain slower exits after refresh resets than without resets, but the refresh-versus-random ordering reverses with update length at both networks. These interventions do not causally decompose raw momentum SGD. Neural step-size scaling does not validate the switching limit.
• Abstract（参考訳）: 運動量SGDの第一出口予測は、点次勾配法則が省略するサンプリング情報に依存する。 等点法則と一致したイド運動量力学を持つ強い凸有限プールは異なる分岐出口を持つことができ、一様に近い点法則を持つ解析プールでさえ出口確率を分離することができる。 一次元の永続的なサンプリングのために、無矛盾な成分速度とステップサイズ条件の下で有限レート切替プロセスと明示的な$O(h)$平均排他的比較を確立する。 実現されたミニバッチとサンプルの曲率を保持することで、この状態を超えて有限ウィンドウの出口ブラケットが得られる。 32の訓練された尾根物流では、29の目標がラウンドリング認定ブラケットで満たされ、囲い制御によってほとんどの幅の利点が説明される。 厳密な証明は、3つのResNet-18チェックポイントの試験ラジイにおいて有限の手段を確立し、タンとViTネットワークの局所的な有限平均条件を与える。 2ネットワークレプリケーションは、4つの有限パス持続性比較で32/32の成功種を与える。 独立な等長制御はリセットなしでリセットするよりも遅いエグジットを保っているが、リフレッシュ・リバース・ランダムの順序は両ネットワークで更新の長さで逆転する。 これらの介入は生の運動量SGDを因果分解しない。 ニューラルネットワークのステップサイズスケーリングは、スイッチング限界を検証しません。

関連論文リスト

• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• Two-Sample Testing via Generative Processes [60.42943145582429]
  生成輸送は、2つのサンプルが同じ分布から来るかどうかを決定する新しい方法を提供する。 2つのサンプルの間に直接補間体を構築し、対称スケジュールでは、その法則が時間反射の下で不変であることを観察する。 したがって、t と 1-t の辺辺が、Jensen-Shannon の発散を計算することで一致するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-10-06T12:48:27Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion [5.2262942936091905]
  均一状態の離散拡散モデルは、すべての位置を変更可能にしながら、すべてのトークンを並列に更新する。 我々は、選択したargmaxトークンを格納し、その後のモデル入力に挿入する訓練不要なサンプルである、コミット露光サンプリング(CRS)を提案する。
  論文  参考訳（メタデータ） (2026-09-01T10:43:24Z)
• Plateau-Constrained Selection of Commuting Phase-Term Orderings Under a Fixed Maintained-Parity Compiler Contract [0.19116784879310023]
  固定配置下での古典的な2段置換探索と,維持パリティ低下を用いた。 ステージ1は、プライマリサポートの最適性を認定し、ステージ2は、同じコストのツアーをサンプリングし、凍結されたルートスコアで選択する。
  論文  参考訳（メタデータ） (2026-08-27T18:22:15Z)
• Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning [33.56197101721029]
  非同期強化学習は、最適化からロールアウト生成を分離することでスループットを向上させる。 結果として生じる不安定さは必然的な副産物であり、ポリシーラグ、エンジン遅延、およびエキスパートの混合ルーティングによって共同で合成される。 本稿では,分割されたサンプルログ比を実用的な安定化プロキシとして利用するStaleness-Adaptive Trust Region (SAT)を紹介した。
  論文  参考訳（メタデータ） (2026-07-21T05:27:50Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。