論文の概要: Blog: Survey of Optimizers

• arxiv url: http://arxiv.org/abs/2608.28557v1
• Date: Fri, 28 Aug 2026 17:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.421649
• Title: Blog: Survey of Optimizers
• Title（参考訳）: Blog: 最適化のサーベイ
• Abstract要約: サーベイは、時間的推定、更新幾何、地平線管理、表現とシステムという4つの軸に沿った最近のおよび訓練最適化手法を編成する。 これは、ムオンのスペクトル正規化、シャンプーとSOAPの歴史的行列統計、適応的およびハイブリッド行列法、メモリ効率、スケジュールなしトレーニング、小さなバッチ補正、量子化された状態とを結びつける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural-network optimization in 2025-2026 is no longer well described as a succession of new Adam variants. The design space has expanded from coordinates to matrices and layers, from fixed training horizons to policies over time, and from mathematical update rules to state representations that must survive sharding and low-precision computation. This survey organizes recent optimizers and training optimization methods along four largely independent axes: temporal estimation, update geometry, horizon management, and representation and systems. It connects the spectral normalization of Muon, the historical matrix statistics of Shampoo and SOAP, adaptive and hybrid matrix methods, memory-efficient optimizers, schedule-free training, small-batch corrections, and quantized optimizer states. The central empirical conclusion is deliberately non-triumphal: matrix-aware methods represent a genuine advance, but there is no context-independent replacement for AdamW. Rankings change with model scale, data-to-parameter ratio, batch size, schedule, parameter partition, tuning budget, and whether the target metric is tokens, FLOPs, wall-clock time, or memory. The practical consequence is a compositional view of optimizer design and a stricter protocol for evaluating optimizer claims.
• Abstract（参考訳）: 2025-2026年のニューラル・ネットワーク最適化は、もはや新しいアダム変種の後継とはあまり説明されていない。 設計空間は座標から行列や層へと拡張され、固定されたトレーニングの地平線から時間とともにポリシーへ、数学的更新規則からシャーディングと低精度計算を生き残る必要がある状態表現へと拡張された。 この調査では、時間的推定、更新幾何、地平線管理、表現とシステムという、4つの大きく独立した軸に沿って、最近の最適化手法とトレーニング最適化手法を整理した。 これは、Muonのスペクトル正規化、ShampooとSOAPの履歴行列統計、適応的およびハイブリッド行列法、メモリ効率の良いオプティマイザ、スケジュールなしトレーニング、小さなバッチ補正、量子化されたオプティマイザ状態とを結びつける。 行列認識法は真の進歩を表すが、AdamWの文脈に依存しない置き換えは存在しない。 ランク付けは、モデルスケール、データ-パラメータ比、バッチサイズ、スケジュール、パラメータ分割、チューニング予算、ターゲットメトリックがトークン、FLOP、ウォールクロック時間、メモリであるかどうかによって変化する。 その結果、オプティマイザ設計のコンポジションビューと、オプティマイザのクレームを評価するためのより厳格なプロトコルが実現された。

関連論文リスト

• Reducing Per-Sample Harm in Stochastic Optimization [1.5229257192293202]
  現代では、現在のミニバッチからの勾配と、運動量や適応モーメントといった歴史的な最適化状態が組み合わさっている。 我々はこの効果を害とみなし、パラメータ更新を最適化問題として定式化する。 正確な定式化は難解であるため、高効率なプロキシを導入する。
  論文  参考訳（メタデータ） (2026-06-28T18:01:27Z)
• From SGD to Muon: Adaptive Optimization via Schatten-p Norms [3.5975968496682484]
  Muonのようなモダンな言語は、更新に行列的な幾何学的制約を課している。 現行のすべてのメソッドでは、更新ルールに対して固定LMOジオメトリを課している。 本稿では,プロキシ・最適更新LMOジオメトリを動的に選択するための,新しい効率的なデータ駆動基準を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:47:41Z)
• Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
  補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。 その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
  論文  参考訳（メタデータ） (2026-05-15T09:21:29Z)
• Navigating LLM Valley: From AdamW to Memory-Efficient and Matrix-Based Optimizers [0.0]
  大規模言語モデルの訓練には、計算とメモリ効率が極端に高い最適化アルゴリズムが必要である。 本稿では,システム・アンド・最適化レンズを用いた大規模言語モデルの設計についてレビューする。
  論文  参考訳（メタデータ） (2026-05-09T21:34:28Z)
• Two-Stage Optimizer-Aware Online Data Selection for Large Language Models [49.576993784867035]
  我々は,大規模言語モデルの微調整において,勾配に基づくオンラインデータ選択と重み付けのための原則付きフレームワークを提案する。 私たちのキーとなる考え方は、オンライン選択を静的なサンプルランキングではなく、次のターゲット指向のアップデートを州の下で形作ることです。 実験の結果,本手法は既存のオンラインデータ選択ベースラインに対するコンバージェンスとダウンストリームのパフォーマンスを,同じデータ予算下で一貫して改善することが示された。
  論文  参考訳（メタデータ） (2026-03-08T21:46:16Z)
• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• Towards Robust Scaling Laws for Optimizers [89.21160945066737]
  経験的スケーリング法則は、モデルのサイズやトレーニングデータの増加に伴って損失を予測するために広く使用されている。 本研究では, 損失分解を既約, 近似, 最適化誤差に分解した結果, チンチラ方式のスケーリング法則が自然に現れることを示す。
  論文  参考訳（メタデータ） (2026-02-07T21:40:33Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Improving Adaptive Moment Optimization via Preconditioner Diagonalization [11.01832755213396]
  提案手法は,現代適応法の収束速度を大幅に向上させることができることを示す。 LLaMAのような大きな言語モデルでは、ベースラインであるAdamと比較して2倍のスピードアップが達成できます。
  論文  参考訳（メタデータ） (2025-02-11T11:48:04Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。