論文の概要: Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data

• arxiv url: http://arxiv.org/abs/2607.06013v1
• Date: Tue, 07 Jul 2026 08:55:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.460891
• Title: Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data
• Title（参考訳）: Smoothed Sign Descentのインシシトバイアス選択のための安定性アニーリング - 分離可能なデータに対するレートインデクシングバリアパス-
• Abstract要約: 本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。 指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
• 参考スコア（独自算出の注目度）: 3.7437735326653883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive gradient methods can favor max-margin separators that differ from gradient descent, yet a fixed positive numerical stability constant eventually changes the update geometry again. This paper studies the rate-controlled middle case for full-batch linear classification on separable data. For memoryless stability-annealed smoothed-sign descent with weighted exponential loss, we prove that the normalized iterates converge to the minimizer of a convex Burg-type barrier over a margin slice. The proof rewrites the dynamics exactly as entropic mirror ascent on a concave dual objective, controls the dual gap by a KL recursion, and yields an explicit S_t^{-1/2} normalized-iterate envelope. The static barrier geometry is fully characterized, including KKT conditions and both endpoint limits. Experiments validate the exact dual identities to floating-point error, illustrate the predicted path and rate diagram, and show an empirical fixed-epsilon crossover scaling in cumulative time. We further report robustness and boundary diagnostics for logistic tails, fixed-epsilon crossover, and adaptive-method variants, delineating the scope of the proved smoothed-sign theory.
• Abstract（参考訳）: アダプティブ勾配法は、勾配降下とは異なる最大マージン分離器を好むことができるが、固定された正の数値安定性定数は最終的に更新幾何を再び変化させる。 本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。 指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化イテレートは, 凸バーグ型バリアの最小化に収束することが証明された。 この証明は、エントロピックミラーがコンケーブ二重目的物上に上昇するように正確に書き直し、KL再帰によって双対ギャップを制御し、明示的なS_t^{-1/2}正規化イテレートエンベロープを生成する。 静的バリア幾何学は、KKT条件と両端限界を含む、完全に特徴づけられる。 実験では、浮動小数点誤差に対する正確な二重恒等性を検証し、予測経路とレート図を示し、累積時間における経験的固定エポシロンクロスオーバースケーリングを示す。 さらに,ロジスティックテール,固定エプシロンクロスオーバー,アダプティブメタル変種に対するロバスト性および境界診断について報告する。

関連論文リスト

• CyclOT: Learning Quadratic Optimal Transport Maps via Synchronized Forward-Backward Interpolants [20.064386074670605]
  本稿では,学習した地図が前方および後方の変位補間を誘導する双方向ニューラルネットワークフレームワークを提案する。 スイスロール, MNIST, CelebA, シングルセルデータ, 胸部X線画像を用いた実験は, 終端忠実度, 輸送コストの逆転, 整合性, 誘導インバータの形状を評価する。
  論文  参考訳（メタデータ） (2026-09-12T11:31:53Z)
• Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization [7.792020418343022]
  多様性に基づく正規化とシャープネス認識最小化(SAM)は、ディープラーニングの一般化を改善するための2つの重要なアプローチである。 この2つの手法はパラメータ空間の摂動の下で局所的に一致していることを示す。 また、分岐に基づく正規化は入力の変換によって定義されることを示す。
  論文  参考訳（メタデータ） (2026-09-08T19:01:05Z)
• Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts [60.95873409673775]
  連続時間潜在微分方程式モデルにおける識別可能性はほとんど開のままである。 未知の非線形微分同相を通じて観測される付加ノイズ潜在SDEについて検討した。 本稿では,2段階の遅延不整合とグラフ復元のための推定器を提案する。
  論文  参考訳（メタデータ） (2026-06-26T16:18:28Z)
• Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory [23.912005398880293]
  継続的な学習は、以前獲得した能力を損なうことなく、新しいタスク適応を必要とする。 最近のフォワードパスとゼロオーダー(ZO)の結果は、低クエリ適応が一階降下よりも優れていることを示している。 有限差分はFOと平均整合した生の形状を明らかにする。 標準整合ZOの場合、予想される形状の保持曲率は、異方性成分のみを収縮しながら等方性保持床を保存する正確な恒等性に従う。 このアイデンティティを入射勾配に投影すると、観測可能な FO--ZO 二次的無視ギャップが得られる。
  論文  参考訳（メタデータ） (2026-05-11T14:41:08Z)
• Direct Estimation of Schrödinger Bridge Time-Series Drifts: Finite-Sample, Asymptotic, and Adaptive Guarantees [0.0]
  本研究では, シュルディンガー橋ドリフトの非パラメトリック推定法について検討した。 提案手法はドリフトレベルで直接動作し,最適化,近似,離散化誤差から統計的誤差を分離する。
  論文  参考訳（メタデータ） (2026-05-06T20:44:44Z)
• From Video-to-PDE: Data-Driven Discovery of Nonlinear Dye Plume Dynamics [0.0]
  ビデオから直接連続体モデルを推定することは、2つの事実によって妨げられる。 我々は、インク配管のグレースケール記録を正規化されたスカラー場に変換するビデオ・ツー・PDEパイプラインを開発した。 探索,キャリブレーション,不確実性を異なる段階として扱うと,非校正された視覚データがコンパクトで予測的かつ構造的に解釈可能な連続体モデルが得られることを示す。
  論文  参考訳（メタデータ） (2026-05-06T06:23:59Z)
• Efficient Inference after Directionally Stable Adaptive Experiments [47.32051320630248]
  本稿では,帯域幅などの適応データ収集後の経路微分可能な対象の推測について検討する。 本稿では,従来の目標パラメトリック安定性条件よりも厳格に弱い,新たな目標固有条件である指向性安定性を導入する。
  論文  参考訳（メタデータ） (2026-02-25T01:09:18Z)
• Distributional Stability of Tangent-Linearized Gaussian Inference on Smooth Manifolds [3.632189127068905]
  我々は、投射限界化と表面測定条件付けのために、明示的な非漸近的な$W$安定性境界を導出する。 境界は局所的な2次幾何学的歪みと非局所的な尾の漏れを区別する。 実験では、$sqrt||_mathrmop/Rapprox 1/6$付近で予測されたキャリブレーション遷移を検証し、正規方向の不確実性が局所性破壊時の支配的な障害モードであることを示す。
  論文  参考訳（メタデータ） (2026-02-22T13:18:45Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program [26.143558180103334]
  凸形状と双対性の観点から2層ReLULUネットワークの非定常流について検討する。 そこで本研究では, 原始二重対応により, 非下位降下問題を特定することができることを示す。
  論文  参考訳（メタデータ） (2021-10-13T04:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。