論文の概要: Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered

• arxiv url: http://arxiv.org/abs/2605.15622v2
• Date: Mon, 18 May 2026 07:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.106864
• Title: Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered
• Title（参考訳）: 位置: ディープラーニングにおけるゼロ階最適化は過小評価され、低パワーではない
• Authors: Sijia Liu, Yicheng Lang, Soumyadeep Pal, Changsheng Wang, Yancheng Huang, Chongyu Fan, James Diffenderfer, Bhavya Kailkhura, Yihua Zhang,
• Abstract要約: バックプロパゲーションを伴わない関数評価の有限差から学習するゼロ次最適化(ZO)は,近年,ディープラーニングにおいて注目を集めている。 しかし、ZOメソッドは、推定値のばらつきと不都合なクエリの複雑さのため、基本的にはスケールできないとしばしば否定される。 認識されている多くの制限は、特に、フルスペース、要素ワイド、推定器中心の設計といった、ミオピックな開発プラクティスに起因していることが示される。
• 参考スコア（独自算出の注目度）: 33.86334668191583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order (ZO) optimization, learning from finite differences of function evaluations without backpropagation, has recently regained attention in deep learning due to its memory efficiency and applicability to gray- or black-box pipelines. Yet, ZO methods are often dismissed as fundamentally unscalable because of estimator variance and unfavorable query complexity. We argue that this conclusion might be misguided: ZO optimization is underexplored, not underpowered. We show that many perceived limitations stem from myopic development practices, most notably full-space, element-wise, estimator-centric designs. We articulate six positions spanning the algorithmic, systems, and evaluation stack. First, we revisit the feasibility boundaries of estimator-centric ZO methods through variance control, variance-query tradeoffs, and directional-derivative lenses. Then, we identify three underexplored opportunities: (i) subspace and spectral views of ZO that enable interpretable variance reduction with graceful query scaling, (ii) the forward-only nature of ZO as a systems advantage for communication-efficient, pipeline-friendly, and resource-constrained training, and (iii) the need to de-obfuscate ZO evaluations from task complexity. We strongly advocate rethinking ZO optimization around its unique strengths and acting accordingly, opening a viable path toward large-scale, system-aware, and resource-efficient learning with ZO optimization.
• Abstract（参考訳）: バックプロパゲーションのない関数評価の有限差分から学習するゼロオーダー最適化(ZO)は、近年、メモリ効率とグレーボックスやブラックボックスパイプラインへの適用性から、ディープラーニングの注目を集めている。 しかし、ZOメソッドは、推定値のばらつきと不都合なクエリの複雑さのため、基本的にはスケールできないとしばしば否定される。 ZO最適化は過大評価されているが、過大評価されていない。 認識されている多くの制限は、特に、フルスペース、要素ワイド、推定器中心の設計といった、ミオピックな開発プラクティスに起因していることが示される。 アルゴリズム,システム,評価スタックにまたがる6つの位置を明確にする。 まず, 分散制御, 分散クエリトレードオフ, 指向性導出レンズを用いて, 推定器中心ZO法の実現可能性境界を再検討する。 そして、探索されていない3つの機会を特定します。 (i)優雅なクエリスケーリングによる解釈可能な分散低減を可能にするZOのサブスペースとスペクトルビュー。 (二)通信効率、パイプラインフレンドリー、資源制約のある訓練に有利なシステムとしてのZOの前方のみの性質、及び (iii)タスクの複雑さからZO評価を解き放つ必要性。 我々は、ZO最適化をその独特な強みを中心に再考し、それに従って、ZO最適化による大規模、システム認識、資源効率の学習に向けて実行可能な道を開くことを強く主張する。

関連論文リスト

• Explicit and Non-asymptotic Query Complexities of Rank-Based Zeroth-order Algorithm on Stochastic Smooth Functions [17.238068736229014]
  命令フィードバックによるゼロオーダー(ZO)最適化は、現代の機械学習システムにおける根本的な問題として現れている。 単純で計算効率の良いランクベースZOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-12-22T07:18:57Z)
• Can Learned Optimization Make Reinforcement Learning Less Difficult? [70.5036361852812]
  学習の最適化が強化学習の難しさを克服するのに役立つかどうかを検討する。 本稿では, 塑性, 探索および非定常性のための学習最適化手法(OPEN)を用いて, 入力特性と出力構造がこれらの困難に対して予め提案された情報によって通知される更新規則をメタラーニングする。
  論文  参考訳（メタデータ） (2024-07-09T17:55:23Z)
• DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training [33.11416096294998]
  ゼロオーダー(ZO)最適化は、機械学習(ML)問題を解決する一般的なテクニックとなっている。 ディープニューラルネットワーク(DNN)のトレーニングにおけるZO最適化の有効性を、パフォーマンスを著しく低下させることなく実証した以前の研究はない。 我々は,ZO最適化をDNNトレーニングにスクラッチから拡張可能なZOディープラーニング(DL)フレームワークであるDeepZeroを開発した。
  論文  参考訳（メタデータ） (2023-10-03T13:05:36Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• SING: A Plug-and-Play DNN Learning Technique [25.563053353709627]
  我々は,Adam(W)の安定性とロバスト性を向上させるプラグアンドプレイ技術であるSING(StabIlized and Normalized Gradient)を提案する。 SINGは実装が簡単で、最小限の計算オーバーヘッドを持ち、Adam(W)に供給される勾配の層単位での標準化しか必要としない。
  論文  参考訳（メタデータ） (2023-05-25T12:39:45Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。