論文の概要: RELTA-SGLD: Relative-Growth Localized Taming for Nonconvex Stochastic-Gradient Langevin Learning

• arxiv url: http://arxiv.org/abs/2607.19544v1
• Date: Tue, 21 Jul 2026 19:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.916693
• Title: RELTA-SGLD: Relative-Growth Localized Taming for Nonconvex Stochastic-Gradient Langevin Learning
• Title（参考訳）: RELTA-SGLD:非凸確率勾配ランゲヴィン学習のための相対成長局所的タミング
• Abstract要約: RELTA-SGLDは,過線形の漸進的な更新を安定化し,元の学習の不要な抑制を低減させるテーキング方式である。 閾値はテーミングのオン位置を決定するが、一方1段階のリャプノフ条件に由来する相対成長原理はテーミング強度を決定する。
• 参考スコア（独自算出の注目度）: 10.599439539657785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce RELTA-SGLD, a taming scheme that stabilizes superlinear stochastic-gradient updates while reducing unnecessary suppression of the original learning drift. A threshold determines where the taming turns on, while a relative-growth principle derived from the one-step Lyapunov stability condition determines the required taming strength. Together, they produce a lighter $λ$-scale denominator and preserve a nonvanishing far-tail return. As a consequence, we prove polynomial moment stability and first-order stationary accuracy in both $W_1$ and $W_2$ for nonconvex SGLD with superlinearly growing stochastic-gradient oracles, improving the corresponding half-order and quarter-order bounds for comparable stochastic-gradient tamed schemes. On Fashion-MNIST under active stabilization pressure, RELTA improves the mean learning metrics over both untamed SGLD and TUSLA and remains competitive with a tuned AdamW reference. In an ordinary-training regime, its lighter localized denominator reduces unnecessary perturbation of the original update and maintains nearly untamed learning dynamics.
• Abstract（参考訳）: RELTA-SGLDは,従来の学習ドリフトの不要な抑制を低減しつつ,超線形確率的漸進的更新を安定化するタイミング方式である。 閾値は、テイミングのオン場所を決定するが、一方、1段階のリャプノフ安定条件に由来する相対成長原理は、必要なテイミング強度を決定する。 共に、より軽い$λ$スケールの分母を生成し、不要な極尾リターンを保持する。 その結果、非凸SGLDに対して、多項式モーメントの安定性と1次定常精度を$W_1$と$W_2$で証明し、対応する半次および4次境界を同等の確率階次タマドスキームで改善した。 アクティブ安定化圧力下でのFashion-MNISTでは、RELTAは未処理のSGLDとTUSLAの両方で平均学習基準を改善し、調整されたAdamW参照と競合し続けている。 通常の訓練体制では、より軽い局所化分母は元の更新の不要な摂動を減らし、ほとんど未使用の学習力学を維持する。

関連論文リスト

• The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
  min-max最適化は、現代の機械学習に応用されているため、注目を集めている。 我々は、勾配降下(SGDA)の包括的理論を提供する。 我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
  論文  参考訳（メタデータ） (2026-09-05T12:49:28Z)
• The Road Taken: The Role of Optimizers at the Edge of Stability [53.81268610971847]
  安定性のエッジ(Edge of stability)とは、古典的な降下が不安定であると予測されるしきい値より上のヘッセンの固有値が安定である深層学習における現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 我々は、勾配降下を含む多くの一階法が、これらの理論によって予測される安定性を21.1ドルという大きな因子で著しく破っていることを観察した。
  論文  参考訳（メタデータ） (2026-08-19T01:03:34Z)
• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• Staleness-Learning Rate Scaling Laws for Asynchronous RLHF [18.98349589222509]
  S は最大ロールアウトラグを示し,eta は学習率を示す。 このことは、地平線に制限された体制において、最大の安定学習率が不安定性に依存しているように見える理由を説明する。
  論文  参考訳（メタデータ） (2026-07-01T15:40:12Z)
• SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates [2.104588729923885]
  現代のディープラーニングは、安定性の端で機能することが示されている。 マルチクラスクロスエントロピー損失に適用したグラディエント・ディキセント(SGD)の収束保証を提供する。 実験は、我々の理論的な知見を検証し、大規模体制におけるSGDの利点を実証する。
  論文  参考訳（メタデータ） (2026-06-29T21:32:58Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Momentum Further Constrains Sharpness at the Edge of Stochastic Stability [0.5405981353784005]
  最近の研究は(確率的な)勾配降下が不安定な境界付近で自己組織化し、最適化と解の両方を形作ることを示唆している。 運動量を持つSGDは、バッチサイズ依存の挙動を持つ安定性のエッジ(EoSS)のような状態を示す。
  論文  参考訳（メタデータ） (2026-04-15T17:28:46Z)
• A Unified Noise-Curvature View of Loss of Trainability [8.602734307457387]
  継続的学習におけるトレーニング容易性(LoT)の喪失は、タスクが進化するにつれて、ステップが改善されなくなります。 バッチサイズ対応勾配雑音境界と曲率ボラティリティ制御境界の2つの相補的基準を導入する。 このしきい値を用いることで、各レイヤを安全な限界以下に維持する、単純なレイヤごとのスケジューラを構築します。
  論文  参考訳（メタデータ） (2025-09-24T02:11:13Z)
• Stability and Generalization for Bellman Residuals [8.250374560598493]
  ベルマン残留最小化(BRM)はオフライン強化学習の魅力的な治療法として浮上している。 本稿では,SGDAが近傍のデータセット上で実行され,O(1/n)平均引数-安定性境界が得られる,単一のリアプノフポテンシャルを紹介する。 その結果、標準のニューラルネットワークパラメータ化とミニバッチSGDが得られた。
  論文  参考訳（メタデータ） (2025-08-26T07:15:36Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。