論文の概要: How to guess a gradient

• arxiv url: http://arxiv.org/abs/2312.04709v1
• Date: Thu, 7 Dec 2023 21:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 16:58:26.384886
• Title: How to guess a gradient
• Title（参考訳）: 勾配を推測する方法
• Authors: Utkarsh Singhal, Brian Cheung, Kartik Chandra, Jonathan Ragan-Kelley, Joshua B. Tenenbaum, Tomaso A. Poggio, Stella X. Yu
• Abstract要約: 我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
• 参考スコア（独自算出の注目度）: 68.98681202222664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How much can you say about the gradient of a neural network without computing a loss or knowing the label? This may sound like a strange question: surely the answer is "very little." However, in this paper, we show that gradients are more structured than previously thought. Gradients lie in a predictable low-dimensional subspace which depends on the network architecture and incoming features. Exploiting this structure can significantly improve gradient-free optimization schemes based on directional derivatives, which have struggled to scale beyond small networks trained on toy datasets. We study how to narrow the gap in optimization performance between methods that calculate exact gradients and those that use directional derivatives. Furthermore, we highlight new challenges in overcoming the large gap between optimizing with exact gradients and guessing the gradients.
• Abstract（参考訳）: 損失を計算したりラベルを知ったりすることなく、ニューラルネットワークの勾配についてどれくらい言えるだろうか? これは奇妙な質問に聞こえるかもしれない:確かに答えは「とても小さい」。 しかし,本稿では,従来考えられていたよりも勾配がより構造化されていることを示す。 勾配は、ネットワークアーキテクチャと入ってくる機能に依存する予測可能な低次元部分空間にある。 この構造をエクスプロイトすることで、おもちゃのデータセットで訓練された小さなネットワークを超えてスケールするのに苦労した指向性デリバティブに基づく勾配のない最適化スキームを大幅に改善することができる。 本研究では,正確な勾配を計算する手法と方向微分を用いる手法との最適化性能の差を狭める方法について検討する。 さらに,厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。

関連論文リスト

• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Continuous vs. Discrete Optimization of Deep Neural Networks [15.508460240818575]
  均一な活性化を伴う深層ニューラルネットワーク上では、勾配流軌跡が良好な曲率を享受できることが示される。 この発見により、深い線形ニューラルネットワーク上の勾配流の解析を、勾配勾配が効率的に大域最小限に収束することを保証できる。 我々は、勾配流の理論が深層学習の背後にある謎の解き放つ中心となると仮定する。
  論文  参考訳（メタデータ） (2021-07-14T10:59:57Z)
• A Comprehensive Study on Optimization Strategies for Gradient Descent In Deep Learning [0.0]
  この記事では,勾配降下の最適化戦略について紹介する。 さらに,これらのアルゴリズムのアーキテクチャや,ニューラルネットワークのさらなる最適化についても論じる。
  論文  参考訳（メタデータ） (2021-01-07T06:24:55Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。