論文の概要: Gradient Methods with Online Scaling Part II. Practical Aspects
- arxiv url: http://arxiv.org/abs/2509.11007v1
- Date: Sat, 13 Sep 2025 23:14:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.874769
- Title: Gradient Methods with Online Scaling Part II. Practical Aspects
- Title（参考訳）: オンラインスケーリングによるグラディエント手法 その2. 実践的側面
- Authors: Ya-Chi Chu, Wenzhi Gao, Yinyu Ye, Madeleine Udell,
- Abstract要約: オンラインスケールドメソッド(英語: Online Scaled Method、OSGM)は、オンライン凸最適化を利用してメソッドのステップサイズを適応するフレームワークである。
本稿はOSGMフレームワークの実践的側面に焦点を当てる。
- 参考スコア（独自算出の注目度）: 20.711245845465776
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Part I of this work [Gao25] establishes online scaled gradient methods (OSGM), a framework that utilizes online convex optimization to adapt stepsizes in gradient methods. This paper focuses on the practical aspects of OSGM. We leverage the OSGM framework to design new adaptive first-order methods and provide insights into their empirical behavior. The resulting method, OSGM-Best, matches the performance of quasi-Newton variants while requiring less memory and cheaper iterations. We also extend OSGM to nonconvex optimization and outline directions that connect OSGM to existing branches of optimization theory and practice.
- Abstract（参考訳）: この研究の一部 [Gao25] は、オンライン凸最適化を利用して勾配法を段階的に適応するフレームワークであるオンラインスケールド勾配法 (OSGM) を確立している。
本稿はOSGMの実践的側面に焦点を当てる。
我々はOSGMフレームワークを活用して、新しい適応的な一階法を設計し、その経験的振る舞いに関する洞察を提供する。
結果として得られたOSGM-Bestは準ニュートン変種の性能と一致し、少ないメモリと安価なイテレーションを必要とする。
また、OSGMを非凸最適化に拡張し、OSGMを既存の最適化理論と実践の分野に接続する方向を概説する。
関連論文リスト
- Gradient Methods with Online Scaling Part I. Theoretical Foundations [20.711245845465776]
本稿では,オンラインスケールド手法(OSGM)の理論的基礎を確立する。
OSGMは、収束度から動機付けられたフィードバック関数によるステップサイズの有効性を定量化し、オンライン学習アルゴリズムを用いてステップサイズを調整する。
OSGMは、滑らかな凸問題に対する望ましい収束を保証する。1)滑らかな凸問題に対する軌道依存のグローバル収束、2)滑らかな凸問題に対する複雑性の改善、3)局所超線型収束などである。
論文 参考訳（メタデータ） (2025-05-29T04:35:21Z) - Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。
我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - Generalized Preference Optimization: A Unified Approach to Offline Alignment [54.97015778517253]
本稿では,一般的な凸関数のクラスによってパラメータ化されるオフライン損失の族である一般化された選好最適化(GPO)を提案する。
GPOは、DPO、IPO、SLiCといった既存のアルゴリズムを特別なケースとして含む、優先最適化に関する統一的なビューを可能にする。
本研究は,新たなアルゴリズムツールキットと経験的洞察を実践者のアライメントに提示する。
論文 参考訳（メタデータ） (2024-02-08T15:33:09Z) - Adapting Step-size: A Unified Perspective to Analyze and Improve
Gradient-based Methods for Adversarial Attacks [21.16546620434816]
勾配に基づく逆学習手法の統一的理論的解釈を提供する。
これらのアルゴリズムのそれぞれが、実際には、元の勾配法の特定の再構成であることを示す。
正規勾配法に基づく適応勾配に基づくアルゴリズムの幅広いクラスを示す。
論文 参考訳（メタデータ） (2023-01-27T06:17:51Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。
本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。
GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
論文 参考訳（メタデータ） (2020-11-06T14:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。