論文の概要: Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective

• arxiv url: http://arxiv.org/abs/2605.03373v1
• Date: Tue, 05 May 2026 05:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.776612
• Title: Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective
• Title（参考訳）: ゼロ階最適化の学習ダイナミクス:カーネルの視点から
• Abstract要約: 最近の研究の活発化は、大規模言語モデルにZOメソッドを適用することに成功していることを示している。 実験的なニューラルタンジェントカーネル(eNTK)が学習行動を管理する重要な用語として現れるZO SGDの一段階学習ダイナミクスを導出する。 このカーネルベースのフレームワークは、動的学習の文脈内でZOメソッドを理解するための新しい視点を提供すると考えている。
• 参考スコア（独自算出の注目度）: 8.18887614959892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical optimization theory establishes that zeroth-order (ZO) algorithms suffer from a dimension-dependent slowdown, with convergence rates typically scaling with the model dimension compared to first-order methods. However, in contrast to these theoretical expectations, a growing body of recent work demonstrates the successful application of ZO methods to fine-tuning Large Language Models (LLMs) with billions of parameters. To explain this paradox, we derive the one-step learning dynamics of ZO SGD, where the empirical Neural Tangent Kernel (eNTK) naturally emerges as the key term governing the learning behavior. Inspection of the eNTK produced by ZO SGD reveals that each element corresponds to the inner product of neural tangent vectors projected onto a random low-dimensional subspace. Thus, by invoking the Johnson-Lindenstrauss Lemma, our analysis shows that the fidelity of the ZO eNTK is governed primarily by the number of perturbations. Crucially, the approximation error depends on the model output size rather than the massive parameter dimension. This dimension-free property provides a theoretical justification for the scalability of ZO methods to LLMs finetuning tasks. We believe that this kernel-based framework offers a novel perspective for understanding ZO methods within the context of learning dynamics.
• Abstract（参考訳）: 古典最適化理論では、ゼロ階法(ZO)アルゴリズムは次元依存的な減速に悩まされ、収束速度は典型的には1階法と比較してモデル次元とスケールする。 しかし、これらの理論的な期待とは対照的に、近年の一連の研究は、数十億のパラメータを持つ大規模言語モデル(LLM)へのZO法の適用の成功を実証している。 このパラドックスを説明するために、ZO SGDの一段階学習力学を導出し、経験的ニューラルタンジェントカーネル(eNTK)が学習行動を管理する重要な用語として自然に現れる。 ZO SGDによって生成されたeNTKの検査により、各要素はランダムな低次元部分空間に投影されるニューラル接ベクトルの内積に対応することが明らかになった。 したがって、Johnson-Lindenstrauss Lemmaを呼び出すことで、ZO eNTKの忠実度は主に摂動の数によって支配されることを示す。 重要なことに、近似誤差は、巨大なパラメータ次元ではなく、モデル出力サイズに依存する。 この次元自由性は、ZO法をLLMの微調整タスクに拡張する理論的な正当性を与える。 このカーネルベースのフレームワークは、動的学習の文脈内でZOメソッドを理解するための新しい視点を提供すると考えている。

関連論文リスト

• Generalization in Deep Neural Networks: Minimax Rates for Gradient Methods [42.41448048632761]
  本稿では,勾配法を用いて学習したディープニューラルネットワーク(DNN)の包括的一般化解析を行う。 我々は,DNNの学習力学と,勾配法を用いて学習したスムーズなアクティベーション関数との間に,初めて重要な関係を樹立した。 我々は、勾配降下 (GD) と勾配降下 (SGD) の過剰集団リスクに対する、初めて知られている最小値最適化率を導出する。
  論文  参考訳（メタデータ） (2026-06-04T23:31:52Z)
• Model Evolution Under Zeroth-Order Optimization: A Neural Tangent Kernel Perspective [33.99966177443865]
  ニューラルゼロ階数カーネル(NZK)を導入し,ZO更新の下で関数空間のモデル進化を記述する。 予測されたNZKがトレーニングを通して一定であり、ランダムな摂動方向の第1モーメントと第2モーメントに明示的に依存していることを証明する。
  論文  参考訳（メタデータ） (2026-03-22T11:14:53Z)
• Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
  線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。 近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。 本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-16T22:21:27Z)
• A Geometrically-Grounded Drive for MDL-Based Optimization in Deep Learning [3.2452107817263003]
  本稿では,MDL(Minimum Description Length)の原理を深層ニューラルネットワークのトレーニング力学に根本的に統合する,新しい最適化フレームワークを提案する。 我々は、数値安定性(Theoremrefthm:stability)と凸性仮定の下での指数収束(Theoremrefthm:convergence_rate)の保証とともに、$O(N log N)$ per-iteration complexity(Theoremrefthm:complexity)の実用的な計算効率のアルゴリズムを提供する。 この研究は、より自律的で、一般化可能で、解釈可能なAIへの原則化された道を提供する
  論文  参考訳（メタデータ） (2026-03-12T08:31:00Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• A joint optimization approach to identifying sparse dynamics using least squares kernel collocation [70.13783231186183]
  本研究では,通常の微分方程式(ODE)の学習システムを,状態の不足,部分的,ノイズの多い観測から学習するためのオール・アット・オンス・モデリング・フレームワークを開発する。 提案手法は,関数ライブラリ上でのODEのスパースリカバリ戦略とカーネルヒルベルト空間(RKHS)理論による状態推定とODEの離散化の手法を組み合わせたものである。
  論文  参考訳（メタデータ） (2025-11-23T18:04:15Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
  ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。 我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。 本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
  論文  参考訳（メタデータ） (2024-07-19T15:32:15Z)
• A Deep Dive into the Connections Between the Renormalization Group and Deep Learning in the Ising Model [0.0]
  再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。 本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。 2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
  論文  参考訳（メタデータ） (2023-08-21T22:50:54Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis [7.373617024876726]
  解析におけるいくつかの非線形作用素は、現代のニューラル作用素によって利用されていない時間構造に依存している。 本稿では,無限次元線形距離空間を適切に扱うディープラーニングモデル設計フレームワークを提案する。 我々のフレームワークはコンパクトな集合や任意の有限時間地平線 H" や滑らかなトレースクラス作用素に対して均一に近似できることを示す。
  論文  参考訳（メタデータ） (2022-10-24T14:43:03Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。