論文の概要: To Raise or Not To Raise: The Autonomous Learning Rate Question

• arxiv url: http://arxiv.org/abs/2106.08767v3
• Date: Mon, 10 Jul 2023 21:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 19:38:45.572015
• Title: To Raise or Not To Raise: The Autonomous Learning Rate Question
• Title（参考訳）: 昇給するか否か: 自律的な学習率の問題
• Authors: Xiaomeng Dong, Tao Tan, Michael Potter, Yun-Chan Tsai, Gaurav Kumar, V. Ratna Saripalli, Theodore Trafalis
• Abstract要約: ディープラーニングの世界には、学習率というパラメータがある。 この質問に対する真の答えは、しばしば退屈で、得られるのに時間がかかり、最適なトレーニングパフォーマンスを達成するために、学習率の選択と修正方法に関して、近年、多くのアーク的知識が蓄積されている。 本稿では,自律学習率コントローラという,学習率に関する質問に対する新しい回答を提案する。
• 参考スコア（独自算出の注目度）: 2.6403777143588285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a parameter ubiquitous throughout the deep learning world: learning rate. There is likewise a ubiquitous question: what should that learning rate be? The true answer to this question is often tedious and time consuming to obtain, and a great deal of arcane knowledge has accumulated in recent years over how to pick and modify learning rates to achieve optimal training performance. Moreover, the long hours spent carefully crafting the perfect learning rate can come to nothing the moment your network architecture, optimizer, dataset, or initial conditions change ever so slightly. But it need not be this way. We propose a new answer to the great learning rate question: the Autonomous Learning Rate Controller. Find it at https://github.com/fastestimator/ARC/tree/v2.0
• Abstract（参考訳）: ディープラーニングの世界に共通するパラメータは、学習率である。 同様に、ユビキタスな疑問があります。その学習率は何なのか? この質問に対する真の答えは、しばしば退屈で時間を要するものであり、最適なトレーニング性能を達成するために学習率を選び、修正する方法に関して、近年、多くの難解な知識が蓄積されている。 さらに、完璧な学習率を慎重に作り出すのに費やす時間は、ネットワークアーキテクチャ、オプティマイザ、データセット、初期条件がこれほど微妙に変わる瞬間に何ら変わりません。 しかし、そうする必要はない。 本稿では,自律学習率コントローラという,学習率に関する質問に対する新しい回答を提案する。 https://github.com/fastestimator/arc/tree/v2.0を参照。

関連論文リスト

• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation [48.49860868061573]
  最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 それらは、異なるカメラビューからのシーンのイメージを、一度のトレーニングで利用できるようにする必要がある。 これは特に大規模なシーンと限られたデータストレージを持つシナリオでは高価である。 我々は、破滅的な問題を緩和するために、学生-教師の枠組みを設計する。
  論文  参考訳（メタデータ） (2022-12-21T11:43:20Z)
• Learning Rate Perturbation: A Generic Plugin of Learning Rate Schedule towards Flatter Local Minima [40.70374106466073]
  LEAP(LEArning Rate Perturbation)と呼ばれる一般学習率スケジュールプラグインを提案する。 LEAPは、学習率に一定の摂動を導入することにより、モデルトレーニングを改善するために、様々な学習率スケジュールに適用することができる。 LEAPを用いたトレーニングにより、多様なデータセット上での様々なディープラーニングモデルの性能を向上させることができることを示す広範な実験を行う。
  論文  参考訳（メタデータ） (2022-08-25T05:05:18Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• Improving the sample-efficiency of neural architecture search with reinforcement learning [0.0]
  この作業では、Automated Machine Learning(AutoML)の領域にコントリビュートしたいと思っています。 我々の焦点は、最も有望な研究方向の一つ、強化学習である。 児童ネットワークの検証精度は、コントローラを訓練するための報奨信号として機能する。 我々は、これをより現代的で複雑なアルゴリズムであるPPOに修正することを提案する。
  論文  参考訳（メタデータ） (2021-10-13T14:30:09Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Evolving Learning Rate Optimizers for Deep Neural Networks [2.6498598849144472]
  本稿では,学習率を自動的に設計するAutoLRというフレームワークを提案する。 システムの進化した分類器ADESは、斬新で革新的と思われるが、私たちの知る限りでは、最先端の手法とは異なる構造を持っている。
  論文  参考訳（メタデータ） (2021-03-23T15:23:57Z)
• Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners [26.006964607579004]
  本稿では,一般的な強化学習手法,Q-ラーニングに着目し,行動実験を用いた仮定について検討する。 本研究では,学習者の環境をシミュレートし,学習者の内的状態にフィードバックがどう影響するかを予測する深層学習近似手法を提案する。 この結果から,評価フィードバックを用いた学習の仕方や,直感的に機械エージェントを設計する方法についてのガイダンスが得られた。
  論文  参考訳（メタデータ） (2020-09-05T06:32:38Z)
• AutoLR: An Evolutionary Approach to Learning Rate Policies [2.3577368017815705]
  この研究は、特定のニューラルネットワークアーキテクチャのためのラーニングレートスケジューリングを進化させるフレームワークであるAutoLRを提示する。 その結果, 確立された基準線よりも, 特定の政策を用いて実施した訓練が効率的であることが示唆された。
  論文  参考訳（メタデータ） (2020-07-08T16:03:44Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。