論文の概要: Adaptive Optimization Algorithms for Machine Learning
- arxiv url: http://arxiv.org/abs/2311.10203v1
- Date: Thu, 16 Nov 2023 21:22:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 15:41:31.466434
- Title: Adaptive Optimization Algorithms for Machine Learning
- Title（参考訳）: 機械学習のための適応最適化アルゴリズム
- Authors: Slavom\'ir Hanzely
- Abstract要約: 機械学習は、データ駆動の世界において重要な役割を担います。
この論文は、新しい洞察をもたらし、収束保証を改善した新しいアルゴリズムを導入し、人気のある実用的なアルゴリズムの分析を改善する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning assumes a pivotal role in our data-driven world. The
increasing scale of models and datasets necessitates quick and reliable
algorithms for model training. This dissertation investigates adaptivity in
machine learning optimizers. The ensuing chapters are dedicated to various
facets of adaptivity, including: 1. personalization and user-specific models
via personalized loss, 2. provable post-training model adaptations via
meta-learning, 3. learning unknown hyperparameters in real time via
hyperparameter variance reduction, 4. fast O(1/k^2) global convergence of
second-order methods via stepsized Newton method regardless of the
initialization and choice basis, 5. fast and scalable second-order methods via
low-dimensional updates. This thesis contributes novel insights, introduces new
algorithms with improved convergence guarantees, and improves analyses of
popular practical algorithms.
- Abstract（参考訳）: 機械学習は、データ駆動の世界において重要な役割を担います。
モデルとデータセットのスケールの増大は、モデルのトレーニングに迅速で信頼性の高いアルゴリズムを必要とする。
この論文は機械学習オプティマイザの適応性を調べる。
以下の章は、適応性の様々な側面に捧げられている。
1.パーソナライズによるパーソナライズとユーザ固有モデル
2.メタラーニングによる強化後モデル適応
3.ハイパーパラメータ分散による未知のハイパーパラメータのリアルタイム学習
4.初期化と選択基底によらず、ステップ化ニュートン法による二次法の高速o(1/k^2)大域収束
5.低次元更新による高速でスケーラブルな二階法
この論文は新しい洞察に寄与し、収束保証を改善した新しいアルゴリズムを導入し、人気のある実用的なアルゴリズムの分析を改善する。
関連論文リスト
- Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
論文 参考訳（メタデータ） (2023-05-29T19:37:28Z) - Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。
提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
論文 参考訳（メタデータ） (2023-05-12T13:53:03Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Adaptive Sparse Gaussian Process [0.0]
これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。
まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。
そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
論文 参考訳（メタデータ） (2023-02-20T21:34:36Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Fast Instrument Learning with Faster Rates [34.271656281468175]
ブラックボックスとしてアクセスされるカーネル化IV法と任意の適応回帰アルゴリズムを組み合わせた簡単なアルゴリズムを提案する。
提案アルゴリズムは,高コストのミニマックス最適化手法を回避しつつ,より高速な収束と,情報伝達性のある潜在特徴の次元性に適応する。
論文 参考訳（メタデータ） (2022-05-22T08:06:54Z) - Adaptive First- and Second-Order Algorithms for Large-Scale Machine
Learning [3.0204520109309843]
機械学習における連続最適化問題に対処する一階法と二階法を考察する。
一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。
本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-29T18:10:00Z) - Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order
Information [37.70729542263343]
本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。
我々の手法は方向とステップサイズを動的に適応させる。
我々の手法は退屈なチューニング率チューニングを必要としない。
論文 参考訳（メタデータ） (2021-09-11T06:39:50Z) - Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。
提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。
推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文 参考訳（メタデータ） (2020-04-26T16:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。