論文の概要: Deterministic Envelopes for Tamed SGLD: Decoupling Stochastic-Gradient Noise and Localizing Taming

• arxiv url: http://arxiv.org/abs/2606.05242v1
• Date: Wed, 03 Jun 2026 07:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.275604
• Title: Deterministic Envelopes for Tamed SGLD: Decoupling Stochastic-Gradient Noise and Localizing Taming
• Title（参考訳）: 遅延SGLDのための決定論的エンベロープ:確率的勾配雑音の分離とローカライズ・テーミング
• Authors: Yiwei Zhou, Ziheng Chen,
• Abstract要約: ランゲヴィンアルゴリズムは、しばしば非グロブリーリプシッツドリフトを安定化するためにテーマディノミネーターを使用する。 本稿では, 安定化分母が数値化子と同じ段階的実現に依存する場合, テーキングステップがオラクル自体を変化させ, 定常バイアスを生じさせることを示す。 そこで我々は, 組込み型分母を設計するための構造保存フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.599439539657785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic-gradient Langevin algorithms often use tamed denominators to stabilize non-globally Lipschitz drifts. This paper shows that when the denominator depends on the same stochastic-gradient realization as the numerator, the taming step changes the stochastic oracle itself and can create a stationary bias even if the original stochastic gradient is unbiased. We propose a structure-preserving framework for designing tamed denominators. It fixes the denominator before the oracle noise is sampled and uses localized deterministic envelopes to avoid unnecessary taming in typical regions. These kernels keep the stabilizing effect of taming while avoiding the bias introduced by a gradient-dependent denominator. Our theory explains how the stationary error splits into the bias caused by oracle-dependent taming and the remaining error introduced by deterministic stabilization. Within this deterministic-envelope family, the analysis identifies a far-tail condition that explains the limitation of local soft envelopes and motivates a hybrid member: soft in the typical region, but protected by hard-tail control on rare excursions. Experiments confirm the predicted stationary distortions of random denominators, the bias reduction of deterministic-envelope designs, and the stabilizing effect of the hybrid construction.
• Abstract（参考訳）: 確率勾配ランゲヴィンアルゴリズムは、しばしば非グロブリーリプシッツドリフトを安定化するためにテーマディノミネーターを使用する。 本稿では, 数値化器が数値化器と同じ確率-漸進的実現に依存している場合, テーキングステップが確率オラクル自体を変化させ, 元の確率勾配が偏りのない場合でも定常バイアスを生じさせることを示す。 そこで本研究では, 組込み型ディノミネータの設計のための構造保存フレームワークを提案する。 オラクルノイズがサンプリングされる前に分母を固定し、局所的な決定論的エンベロープを使用して、典型的な地域で不要なタミングを避ける。 これらのカーネルは、勾配依存型分母によるバイアスを避けながら、テーミングの安定化効果を維持している。 本理論では, 定常誤差が, オラクル依存型テーキングによるバイアスと, 決定論的安定化による残差とにどのように分割されるかを説明する。 この決定論的エンベロープ族の中で、この分析は局所的なソフトエンベロープの制限を説明する遠尾条件を特定し、典型的にはソフトであるが、希少な遠洋でのハードテール制御によって保護されるハイブリッドなメンバーを動機付けている。 実験により, ランダムデノミネータの定常歪みの予測, 決定論的エンベロープ設計のバイアス低減, ハイブリッド構造の安定化効果が確認された。

関連論文リスト

• AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
  AnchorMoEは、解釈可能な構成別分類フレームワークである。 ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。 実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-02T13:30:54Z)
• Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
  グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。 この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。 ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
  論文  参考訳（メタデータ） (2026-05-21T15:50:40Z)
• Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory [23.912005398880293]
  継続的な学習は、以前獲得した能力を損なうことなく、新しいタスク適応を必要とする。 最近のフォワードパスとゼロオーダー(ZO)の結果は、低クエリ適応が一階降下よりも優れていることを示している。 有限差分はFOと平均整合した生の形状を明らかにする。 標準整合ZOの場合、予想される形状の保持曲率は、異方性成分のみを収縮しながら等方性保持床を保存する正確な恒等性に従う。 このアイデンティティを入射勾配に投影すると、観測可能な FO--ZO 二次的無視ギャップが得られる。
  論文  参考訳（メタデータ） (2026-05-11T14:41:08Z)
• Statistical Inference under Adaptive Sampling with LinUCB [15.167069362020426]
  線形帯域に対する線形上信頼境界(LinUCB)アルゴリズムは安定性という特性を満たすことを示す。 我々は、LinUCBアルゴリズムの中央極限定理を確立し、推定誤差の極限分布の正規性を確立する。
  論文  参考訳（メタデータ） (2025-11-28T21:48:18Z)
• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。