論文の概要: Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

• arxiv url: http://arxiv.org/abs/2605.10658v1
• Date: Mon, 11 May 2026 14:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.905381
• Title: Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory
• Title（参考訳）: ゼロオーダー適応が無視される理由:ランダムな整形理論
• Abstract要約: 継続的な学習は、以前獲得した能力を損なうことなく、新しいタスク適応を必要とする。 最近のフォワードパスとゼロオーダー(ZO)の結果は、低クエリ適応が一階降下よりも優れていることを示している。 有限差分はFOと平均整合した生の形状を明らかにする。 標準整合ZOの場合、予想される形状の保持曲率は、異方性成分のみを収縮しながら等方性保持床を保存する正確な恒等性に従う。 このアイデンティティを入射勾配に投影すると、観測可能な FO--ZO 二次的無視ギャップが得られる。
• 参考スコア（独自算出の注目度）: 23.912005398880293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning requires new-task adaptation without damaging previously acquired capabilities. Recent forward-pass and zeroth-order (ZO) results show that low-query adaptation may retain better than first-order (FO) descent, but the usual view of ZO as noisy FO estimation does not explain why. We give a local randomized gradient-shaping analysis: finite differences expose a raw shape that is mean-aligned with FO, while the norm-matched comparator fixes the expected squared adaptation norm. Under this controlled comparison, forgetting depends on how the adaptation shape exposes retention curvature. For norm-matched ZO, the expected shaped retention curvature obeys an exact identity that preserves the isotropic retention floor while contracting only the anisotropic component. Projecting this identity onto the incoming gradient yields the observable FO--ZO quadratic forgetting gap: ZO improves mean forgetting precisely when the FO direction has above-average retention curvature, by a query-dependent fraction of that curvature excess. A practical finite-query accounting separates the mean mechanism from one-batch sampling and smoothing perturbations. As an algorithmic transfer, RISE applies the calibrated ZO shape to exact FO gradients inside parameter blocks. Its target is a stability--plasticity tradeoff: randomized shaping may reduce the retention exposure paid by FO, exact gradients remove finite-smoothing bias from finite-difference ZO, and blockwise sampling supplies many local shaping directions after one gradient computation. The blockwise analysis separates mean-step damage from centered random exposure, showing how block-diagonal curvature, cross-block coupling, and local shaping diagnostics specify where this exact-gradient transfer is most likely to be visible.
• Abstract（参考訳）: 継続的な学習は、以前獲得した能力を損なうことなく、新しいタスク適応を必要とする。 最近のフォワードパスとゼロオーダー(ZO)の結果は、低クエリ適応が1次(FO)降下よりも優れていることを示しているが、ZOをノイズのあるFO推定であるとの見方は、その理由を説明できない。 有限差分はFOと平均整合した生の形状を露出し、標準整合コンパレータは期待される2乗適応ノルムを補正する。 この制御された比較の下では、アダプション形状が保持曲率をどのように露出するかに依存している。 標準整合ZOの場合、予想される形状の保持曲率は、異方性成分のみを収縮しながら等方性保持床を保存する正確な恒等性に従う。 このアイデンティティを入射勾配に投影すると、観測可能なFO--ZO2次忘れギャップが得られる: ZOは、その曲率のクエリ依存分数によって、FO方向が平均保持曲率以上である場合に、平均忘れを正確に改善する。 実用的な有限クエリ会計は、平均メカニズムを1バッチサンプリングとスムーズな摂動から分離する。 アルゴリズムの転送として、RISEはパラメータブロック内の正確なFO勾配にキャリブレーションされたZO形状を適用する。 ランダム化整形はFOが支払う保持露光を減少させ、正確な勾配は有限差分ZOから有限平滑バイアスを除去し、ブロックワイドサンプリングは1つの勾配計算後に多くの局所的な整形方向を提供する。 ブロックワイズ分析では、平均ステップの損傷が中心となるランダム露光から切り離され、ブロック対角曲率、クロスブロックカップリング、局所的な形状診断が、この正確な段階的な移動が最も可視な場所を特定することを示す。

関連論文リスト

• Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization [7.792020418343022]
  多様性に基づく正規化とシャープネス認識最小化(SAM)は、ディープラーニングの一般化を改善するための2つの重要なアプローチである。 この2つの手法はパラメータ空間の摂動の下で局所的に一致していることを示す。 また、分岐に基づく正規化は入力の変換によって定義されることを示す。
  論文  参考訳（メタデータ） (2026-09-08T19:01:05Z)
• Scale-Consistent Posterior Dynamics for Diffusion Inverse Problems [16.685352002333225]
  事前訓練された拡散前の後方サンプリングは、一般に難易度成分を有する条件付きスコアによって管理される。 クリーン後部にターゲットが近づいた騒音条件付き経路が連続的なサロゲートSDEを生成することを示す。 FFHQ と ImageNet の100点評価実験により,超解像および分解能の競争再現性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:38:41Z)
• Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models [49.46165710676499]
  最初のアライメント段階から意味収束が観察される。 我々は収束を明らかにし増幅することができるが、SFTデータでは導入されないことを発見した。 その結果,LMトレーニングの根底にある目的から,意味収束が自然に生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-11T20:47:06Z)
• Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
  本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。 指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
  論文  参考訳（メタデータ） (2026-07-07T08:55:35Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
  グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。 この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。 ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
  論文  参考訳（メタデータ） (2026-05-21T15:50:40Z)
• Conditional Diffusion Under Linear Constraints: Langevin Mixing and Information-Theoretic Guarantees [10.73598638822051]
  線形逆問題に対する事前学習拡散モデルを用いたゼロショット条件付きサンプリングについて検討する。 このスコアを無条件の接点スコアで置き換える誤差は、観測されたコンポーネントと観測されていないコンポーネントの間の次元自由条件の相互情報によって上限づけられていることを証明する。
  論文  参考訳（メタデータ） (2026-05-06T19:19:54Z)
• From Video-to-PDE: Data-Driven Discovery of Nonlinear Dye Plume Dynamics [0.0]
  ビデオから直接連続体モデルを推定することは、2つの事実によって妨げられる。 我々は、インク配管のグレースケール記録を正規化されたスカラー場に変換するビデオ・ツー・PDEパイプラインを開発した。 探索,キャリブレーション,不確実性を異なる段階として扱うと,非校正された視覚データがコンパクトで予測的かつ構造的に解釈可能な連続体モデルが得られることを示す。
  論文  参考訳（メタデータ） (2026-05-06T06:23:59Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• Distribution-Free Confidence Ellipsoids for Ridge Regression with PAC Bounds [0.8594140167290097]
  本稿では,SPS EOAアルゴリズムを拡張して回帰を推し進め,その結果の領域サイズに対してほぼ正しい(PAC)上限を導出する。
  論文  参考訳（メタデータ） (2026-01-19T22:47:39Z)
• Learning-Based Shrinking Disturbance-Invariant Tubes for State- and Input-Dependent Uncertainty [1.3750624267664155]
  我々は、状態依存と入力依存の不確実性の下で、外乱不変チューブの縮小を構築するための学習ベースのフレームワークを開発する。 我々は、リストアップされたイソトン(オーダー保存)固定点マップを介して安全性を認証する。
  論文  参考訳（メタデータ） (2026-01-16T16:47:04Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。