Fugu-MT 論文翻訳(概要): Learning-Rate-Free Learning: Dissecting D-Adaptation and Probabilistic Line Search

論文の概要: Learning-Rate-Free Learning: Dissecting D-Adaptation and Probabilistic Line Search

arxiv url: http://arxiv.org/abs/2308.03102v1
Date: Sun, 6 Aug 2023 12:40:17 GMT
ステータス: 処理完了
システム内更新日: 2023-08-08 16:39:47.217286
Title: Learning-Rate-Free Learning: Dissecting D-Adaptation and Probabilistic Line Search
Title（参考訳）: 学習率のない学習:D適応と確率線形探索の分離
Authors: Max McGuinness
Abstract要約: 本稿では, D-Adaptation (arXiv:2301.07733) とline search (arXiv:1502.02846) の2種類の勾配勾配勾配の学習速度最適化手法について検討する。これらの手法は,距離測定値とガウス過程後部推定値をそれぞれ組み込むことで,初等学習率を選択する際の負担を軽減することを目的としている。両手法を直感的に概観し,共有設計目標について議論し,2つのアルゴリズムを統合するためのスコープを考案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper explores two recent methods for learning rate optimisation in stochastic gradient descent: D-Adaptation (arXiv:2301.07733) and probabilistic line search (arXiv:1502.02846). These approaches aim to alleviate the burden of selecting an initial learning rate by incorporating distance metrics and Gaussian process posterior estimates, respectively. In this report, I provide an intuitive overview of both methods, discuss their shared design goals, and devise scope for merging the two algorithms.
Abstract（参考訳）: 本稿では,D-Adaptation (arXiv:2301.07733) とprobabilistic line search (arXiv:1502.02846) の2つの手法について検討する。これらのアプローチは、距離メトリクスとガウス過程の後方推定をそれぞれ組み込むことにより、初期学習率の選択の負担を軽減することを目的としている。本報告では,両手法の直感的な概要と設計目標の共有,および2つのアルゴリズムの融合範囲について述べる。

関連論文リスト

A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning [24.111048817721592]
フェデレートラーニングは分散勾配降下技術に大きく依存している。勾配情報が得られない状況では、勾配をゼロ次情報から推定する必要がある。勾配推定法を改善するための非等方的サンプリング法を提案する。
論文参考訳（メタデータ） (2024-09-24T10:36:40Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
Learning-Rate-Free Learning by D-Adaptation [18.853820404058983]
D-Adaptationは、凸リプシッツ関数に対する最適収束率を達成する学習率を自動的に設定するアプローチである。本手法のSGDおよびAdam変種に対する広範囲な実験を行い,手作業による学習率を1ダース以上の多様な機械学習問題に対して自動でマッチングする手法を提案する。
論文参考訳（メタデータ） (2023-01-18T19:00:50Z)
Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization [3.541406632811038]
BFE(Binary Forward Exploration)と呼ばれる,学習速度の自動スケジューリングによる勾配に基づく新しい最適化手法が最近提案されている。本稿では,提案手法の効率性とロバスト性を最適化するため,改良されたアルゴリズムについて検討する。本手法の目的は,他者を倒すことではなく,勾配降下過程を最適化するための異なる視点を提供することである。
論文参考訳（メタデータ） (2022-07-09T05:28:44Z)
BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization [3.541406632811038]
学習速度を自動的に調整する勾配に基づく最適化手法を提案する。このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
論文参考訳（メタデータ） (2022-07-06T15:55:53Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文参考訳（メタデータ） (2021-11-23T18:10:48Z)
Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文参考訳（メタデータ） (2021-04-09T14:50:59Z)
Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity [40.73281056650241]
本稿では,真の勾配時間差学習アルゴリズムを設計・解析する原理的な方法として,近位勾配時間差学習を導入する。本研究では, 従来の目的関数からではなく, 主目的関数から始めることによって, 勾配性TD強化学習法を公式に導出する方法を示す。
論文参考訳（メタデータ） (2020-06-06T21:04:21Z)
Meta-learning with Stochastic Linear Bandits [120.43000970418939]
我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
論文参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。