論文の概要: OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers

• arxiv url: http://arxiv.org/abs/2607.04033v1
• Date: Sat, 04 Jul 2026 21:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.802224
• Title: OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers
• Title（参考訳）: OmniOpt: 現代最適化の分類・幾何学・ベンチマーク
• Abstract要約: 我々はOmniOptについて紹介する。OmniOptは、研究コミュニティのための統一された調査およびベンチマーククックブックである。 標準制約付き線形最小化(LMO)を用いて、異なるビューを統一する。 我々は、代表者、モデルスケール、トレーニング体制にまたがる統合されたクロスドメインベンチマークで、完全な分類をインスタンス化する。
• 参考スコア（独自算出の注目度）: 37.49090795933434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizer selection for large-scale model training has become a system-level design decision constrained jointly by compute, memory, tuning budget, and task diversity, yet the landscape of over one hundred methods remains fragmented. We therefore present OmniOpt, a unified survey and benchmark cookbook of optimizers for the research community. OmniOpt rests on four coupled components. First, we treat every optimizer update as a structured transformation through a five-stage meta-pipeline, and show that most methods engage only one or two of these stages. Second, we use norm-constrained linear minimization oracles (LMOs) to unify different optimizers. Third, these two views ground a dual-dimension taxonomy, one dimension assigning each method to a mechanism family and the other recording the measurable training objectives it aims to improve. Fourth, and at the core of this paper, we instantiate the full taxonomy in a unified cross-domain benchmark spanning representative optimizers, model scales, and training regimes from language model pretraining to image classification, systematically analyzing each method family across multiple effect objectives and laying out their trade-offs. OmniOpt thus supplies the research community with an operational coordinate system for selecting optimizers under explicit mechanism and objective assumptions, and charts a direction for the future development of the optimizer community.
• Abstract（参考訳）: 大規模モデルトレーニングのための最適化選択は、計算、メモリ、チューニング予算、タスクの多様性によって制約されたシステムレベルの設計決定となっているが、100を超えるメソッドの展望は断片化されている。 そこで我々はOmniOptについて紹介する。OmniOptは研究コミュニティのための統一された調査とベンチマーククックブックである。 OmniOptは4つの結合コンポーネントに依存している。 まず、各オプティマイザ更新を5段階のメタパイプによる構造化変換として扱い、ほとんどのメソッドがこれらのステージのうち1つまたは2つしか関与していないことを示す。 第2に、異なるオプティマイザを統一するために、ノルム制約付き線形最小化オラクル(LMO)を用いる。 第3に、これらの2つの見解は二重次元分類の基礎となり、1つの次元がそれぞれの手法をメカニズムファミリーに割り当て、もう1つの次元が改善を目指す測定可能な訓練目標を記録する。 第4に,本論文のコアとなるのは,言語モデルの事前学習から画像分類,複数の効果目標に対する各メソッドファミリーの体系的解析,トレードオフのレイアウトに至るまで,汎用最適化,モデルスケール,トレーニング体制を網羅した統合型クロスドメインベンチマークにおいて,全分類をインスタンス化することである。 したがって、OmniOptは、明示的なメカニズムと客観的仮定の下でオプティマイザを選択するためのオプティマイザシステムを提供し、オプティマイザコミュニティの今後の発展に向けた方向性を図示する。

関連論文リスト

• Dynamic Classifier-Free Diffusion Guidance via Online Feedback [53.54876309092376]
  ワンサイズオール"アプローチは、異なるプロンプトの多様な要件に適応できない。 動的CFGスケジューリングのためのフレームワークを提案する。 我々は,小型モデルと最先端のImagen 3におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-09-19T16:27:19Z)
• A Novel Self-Evolution Framework for Large Language Models [18.62332474172811]
  本稿では,ユーザの嗜好適応とドメイン固有能力を協調的に最適化する新しいDual-Phase Self-Evolutionフレームワークを提案する。 一般的なNLPベンチマークと長期対話タスクによる実験は、DPSEが常にSupervised Fine-Tuning、Preference Optimization、Memory-Augmented baselinesより優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-21T06:30:39Z)
• Preference-Guided Diffusion for Multi-Objective Offline Optimization [64.08326521234228]
  オフライン多目的最適化のための優先誘導拡散モデルを提案する。 我々の指導は、ある設計が他の設計を支配する確率を予測するために訓練された選好モデルである。 本結果は,多種多様な高品質な解を生成する上での分類器誘導拡散モデルの有効性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-21T16:49:38Z)
• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems [33.46891569350896]
  カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序やトップクオーダを学習させることに重点を置いていた。 我々はこの手法をアダプティブ・ニューラルランキング・フレームワーク (Adaptive Neural Ranking Framework, ARF) と命名する。
  論文  参考訳（メタデータ） (2023-10-16T14:43:02Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• Studying Evolutionary Solution Adaption Using a Flexibility Benchmark Based on a Metal Cutting Process [39.05320053926048]
  システム柔軟性のためのバイオインスパイアされたフレームワークの観点から、異なる生産要件を最適化することを検討する。 NSGA-IIの柔軟性は,1)2つのタスクの解を同時に最適化し,より適応性が高いと期待されるソース間の解を得る,2)アクティベートあるいは非アクティベート可能な様々な可能性に対応する,アクティブな非アクティブなジェノタイプという2つの変種によって拡張される。
  論文  参考訳（メタデータ） (2023-05-31T12:07:50Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。