論文の概要: Why to "grow" and "harvest" deep learning models?

• arxiv url: http://arxiv.org/abs/2008.03501v1
• Date: Sat, 8 Aug 2020 11:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 09:14:59.929328
• Title: Why to "grow" and "harvest" deep learning models?
• Title（参考訳）: なぜ“成長”して“ハーベスト”なディープラーニングモデルが必要なのか?
• Authors: Ilona Kulikovskikh and Tarzan Legovi\'c
• Abstract要約: 1)透明性、2)高収束率、3)高誘導バイアス。 これら3つの条件のすべてにおいて、人当たり成長と収穫率のバランスの取れた2つの値を持つ勾配勾配勾配(SGD)が、最も一般的な適応勾配法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current expectations from training deep learning models with gradient-based methods include: 1) transparency; 2) high convergence rates; 3) high inductive biases. While the state-of-art methods with adaptive learning rate schedules are fast, they still fail to meet the other two requirements. We suggest reconsidering neural network models in terms of single-species population dynamics where adaptation comes naturally from open-ended processes of "growth" and "harvesting". We show that the stochastic gradient descent (SGD) with two balanced pre-defined values of per capita growth and harvesting rates outperform the most common adaptive gradient methods in all of the three requirements.
• Abstract（参考訳）: 勾配に基づく手法によるディープラーニングモデルのトレーニングからの現在の期待は以下のとおりである。 1) 透明性 2) 高い収束率 3) 誘導バイアスが高い。 適応的な学習率のスケジュールを持つ最先端の手法は速いが、他の2つの要件を満たしていない。 成長」と「ハーヴェスティング」のオープンエンドプロセスから自然に適応する単一種集団動態の観点から、ニューラルネットワークモデルを再考することを提案する。 一人当たりの成長と収穫率のバランスのとれた2つの事前定義値を持つ確率的勾配降下 (sgd) は, 3つの要件すべてにおいて最も一般的な適応勾配法を上回っている。

関連論文リスト

• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Flatter, faster: scaling momentum for optimal speedup of SGD [0.0]
  ニューラルネットワークのトレーニングにおいて、勾配降下(SGD)とラベルノイズと運動量との相互作用から生じるトレーニングダイナミクスについて検討した。 運動量ハイパーパラメータ1-NISTbeta$を学習率で2/3$にスケーリングすると、一般化を犠牲にすることなく、最大で2/3$のトレーニングが加速することがわかった。
  論文  参考訳（メタデータ） (2022-10-28T20:41:48Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients [16.625086653851543]
  本稿では,適応法のような高速収束,SGDのような優れた一般化,訓練安定性の3つの目標を同時に達成するために,AdaBeliefを提案する。 我々は、AdaBeliefを広範囲な実験で検証し、画像分類と言語モデリングにおいて、高速収束と高精度で他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-15T01:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。