論文の概要: A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization

• arxiv url: http://arxiv.org/abs/2501.14458v1
• Date: Fri, 24 Jan 2025 12:42:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:55:42.192022
• Title: A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization
• Title（参考訳）: DLモデルの学習最適化手法に関する調査研究:収束と一般化に関する理論的展望
• Authors: Jing Wang, Anna Choromanska,
• Abstract要約: ディープラーニング(DL)における最適化手法の理論的基礎について概説する。 本稿では、一般的な勾配に基づく1次2階一般化法の理論解析を含む。 また、一般凸損失の解析についても論じ、最適化された最適点の発見を明示的に奨励する。
• 参考スコア（独自算出の注目度）: 11.072619355813496
• License:
• Abstract: As data sets grow in size and complexity, it is becoming more difficult to pull useful features from them using hand-crafted feature extractors. For this reason, deep learning (DL) frameworks are now widely popular. The Holy Grail of DL and one of the most mysterious challenges in all of modern ML is to develop a fundamental understanding of DL optimization and generalization. While numerous optimization techniques have been introduced in the literature to navigate the exploration of the highly non-convex DL optimization landscape, many survey papers reviewing them primarily focus on summarizing these methodologies, often overlooking the critical theoretical analyses of these methods. In this paper, we provide an extensive summary of the theoretical foundations of optimization methods in DL, including presenting various methodologies, their convergence analyses, and generalization abilities. This paper not only includes theoretical analysis of popular generic gradient-based first-order and second-order methods, but it also covers the analysis of the optimization techniques adapting to the properties of the DL loss landscape and explicitly encouraging the discovery of well-generalizing optimal points. Additionally, we extend our discussion to distributed optimization methods that facilitate parallel computations, including both centralized and decentralized approaches. We provide both convex and non-convex analysis for the optimization algorithms considered in this survey paper. Finally, this paper aims to serve as a comprehensive theoretical handbook on optimization methods for DL, offering insights and understanding to both novice and seasoned researchers in the field.
• Abstract（参考訳）: データセットのサイズと複雑さが大きくなるにつれて、手作りの特徴抽出器を使って有用な特徴を引き出すのが難しくなってきている。 このため、ディープラーニング(DL)フレームワークが広く普及している。 DLの聖杯と現代のMLにおける最も神秘的な課題の1つは、DL最適化と一般化の根本的な理解を開発することである。 高度に凸のないDL最適化ランドスケープを探索するための多くの最適化手法が文献で紹介されているが、これらの手法の要約に主に焦点をあてた多くの調査論文は、これらの手法の批判的理論的解析を見越すことが多い。 本稿では,様々な手法,収束解析,一般化能力など,DLにおける最適化手法の理論的基礎について概説する。 本稿では,一般的な勾配に基づく一階法と二階法の理論的解析だけでなく,DLロスランドスケープの特性に適応する最適化手法の解析も取り上げ,最適化された最適点の発見を強く奨励する。 さらに、並列計算を容易にする分散最適化手法について、集中型および分散型アプローチの両方を含む議論を拡大する。 本稿では,本研究における最適化アルゴリズムについて,凸解析と非凸解析の両方について述べる。 最後に,本論文は,DLの最適化手法に関する総合的な理論的ハンドブックとして機能することを目的としている。

関連論文リスト

• Learning Provably Improves the Convergence of Gradient Descent [9.82454981262489]
  本稿では,学習者によるL2O(Learning to Optimize)問題の収束について検討する。 アルゴリズムの接点により、L2Oの収束が著しく向上する。 以上の結果から,GD法では50%の成績を示した。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Data-driven Power Flow Linearization: Theory [9.246677771418428]
  データ駆動型電力フロー線形化(DPFL)は、その高い近似精度、広い適応性、そして最新のシステム属性を暗黙的に組み込む能力で際立っている。 本チュートリアルでは,既存のDPFLメソッドをDPFLトレーニングアルゴリズムと支援手法に分類する。 彼らの数学的モデル、解析解、能力、限界、一般化可能性は体系的に検討され、議論され、要約される。
  論文  参考訳（メタデータ） (2024-06-10T22:22:41Z)
• Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
  本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。 まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。 有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:58:42Z)
• Understanding Optimization of Deep Learning via Jacobian Matrix and Lipschitz Constant [18.592094066642364]
  本稿では,ディープラーニングにおける最適化の包括的理解について述べる。 モデル表現能力の低下とトレーニング不安定性の低下につながる勾配消滅と勾配爆発の課題に焦点をあてる。 現在の最適化手法を理解するために、明示的な最適化と暗黙的な最適化の2つのクラスに分類する。
  論文  参考訳（メタデータ） (2023-06-15T17:59:27Z)
• Hierarchical Optimization-Derived Learning [58.69200830655009]
  我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。 これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
  論文  参考訳（メタデータ） (2023-02-11T03:35:13Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。