Fugu-MT 論文翻訳(概要): Blind Descent: A Prequel to Gradient Descent

論文の概要: Blind Descent: A Prequel to Gradient Descent

arxiv url: http://arxiv.org/abs/2006.11505v2
Date: Wed, 26 Aug 2020 14:14:29 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 22:10:38.018792
Title: Blind Descent: A Prequel to Gradient Descent
Title（参考訳）: Blind Descent: グラディエントなDescent
Authors: Akshat Gupta, Prasad N R
Abstract要約: 本稿では,Blind Descentと呼ばれるニューラルネットワークの代替学習手法について述べる。 Blind Descentは爆発や消失のような問題に直面しない。そこで,Blind Descentアルゴリズムの具体例として勾配勾配降下が考えられる。
参考スコア（独自算出の注目度）: 1.2183405753834562
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We describe an alternative learning method for neural networks, which we call Blind Descent. By design, Blind Descent does not face problems like exploding or vanishing gradients. In Blind Descent, gradients are not used to guide the learning process. In this paper, we present Blind Descent as a more fundamental learning process compared to gradient descent. We also show that gradient descent can be seen as a specific case of the Blind Descent algorithm. We also train two neural network architectures, a multilayer perceptron and a convolutional neural network, using the most general Blind Descent algorithm to demonstrate a proof of concept.
Abstract（参考訳）: 本稿では,Blind Descentと呼ばれるニューラルネットワークの代替学習手法について述べる。設計上、ブラインド降下は爆発や勾配の消失といった問題に直面することはない。 Blind Descentでは、勾配は学習プロセスのガイドには使われない。本稿では,Blind Descentを勾配降下よりも基礎的な学習プロセスとして提示する。また,勾配降下はブラインド降下アルゴリズムの特定の場合と見なすことができることを示した。また,最も一般的なブラインド降下アルゴリズムを用いて,多層パーセプトロンと畳み込みニューラルネットワークという2つのニューラルネットワークアーキテクチャを訓練し,概念実証を行った。

関連論文リスト

Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Smooth Exact Gradient Descent Learning in Spiking Neural Networks [0.0]
連続的にしか変化しないスパイキングダイナミクスに基づく厳密な勾配降下学習を実証する。その結果, 離散的なスパイクにもかかわらず, 非破壊的学習がいかに可能かが示唆された。
論文参考訳（メタデータ） (2023-09-25T20:51:00Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文参考訳（メタデータ） (2022-05-30T02:51:36Z)
Visual Explanations from Deep Networks via Riemann-Stieltjes Integrated Gradient-based Localization [0.24596929878045565]
我々は,CNNの予測のための視覚的説明を生成する新しい手法を提案する。本手法はネットワークの任意の層に適用可能であり, 積分勾配と同様, 勾配の消失問題の影響を受けない。 Grad-CAMと比較して、我々のアルゴリズムが生成したヒートマップは興味のある領域に集中しており、数値計算はより安定である。
論文参考訳（メタデータ） (2022-05-22T18:30:38Z)
R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文参考訳（メタデータ） (2021-09-20T15:09:22Z)
Some thoughts on catastrophic forgetting and how to learn an algorithm [0.0]
我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。
論文参考訳（メタデータ） (2021-08-09T11:12:43Z)
Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks [2.7666483899332643]
階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
論文参考訳（メタデータ） (2021-07-04T20:50:49Z)
Perceptual Gradient Networks [4.897538221461331]
本稿では,前向きのパスを使わずに計算される知覚損失の近似を用いて,ジェネレータネットワークを訓練する方法を提案する。我々は、知覚的損失の勾配場を直接合成する単純な知覚的勾配ネットワークを使用する。
論文参考訳（メタデータ） (2021-05-05T09:58:22Z)
Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。