Fugu-MT 論文翻訳(概要): Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks

論文の概要: Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks

arxiv url: http://arxiv.org/abs/2102.04294v1
Date: Fri, 5 Feb 2021 03:46:31 GMT
ステータス: 処理完了
システム内更新日: 2021-02-09 15:15:06.428551
Title: Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
Title（参考訳）: 畳み込みニューラルネットワークにおける不安定勾配問題を回避する畳み込み核テンソルの正規化
Authors: Pei-Chang Guo
Abstract要約: 本稿では、各変換行列の特異値を制限するために、畳み込み核テンソルに対する3つの新しい正規化項を提案する。本稿では、畳み込みニューラルネットワークのトレーニングに関する新たな洞察を提供する勾配型手法の実施方法について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional neural networks are very popular nowadays. Training neural networks is not an easy task. Each convolution corresponds to a structured transformation matrix. In order to help avoid the exploding/vanishing gradient problem, it is desirable that the singular values of each transformation matrix are not large/small in the training process. We propose three new regularization terms for a convolutional kernel tensor to constrain the singular values of each transformation matrix. We show how to carry out the gradient type methods, which provides new insight about the training of convolutional neural networks.
Abstract（参考訳）: 畳み込みニューラルネットワークは今日では非常に人気がある。ニューラルネットワークのトレーニングは簡単ではありません。各畳み込みは構造化変換行列に対応する。爆発・崩壊勾配問題を回避するために,各変換行列の特異値は訓練過程において大きくも小さくもないことが望ましい。本稿では,各変換行列の特異値を制限する畳み込み核テンソルに対する3つの新しい正規化項を提案する。本稿では,畳み込み型ニューラルネットワークの学習に関する新たな知見を提供する,勾配型手法の実施方法を示す。

関連論文リスト

Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文参考訳（メタデータ） (2023-10-29T08:47:48Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Convolutional unitary or orthogonal recurrent neural networks [0.0]
畳み込みRNNの特定の場合において、畳み込み指数を定義することができることを示す。カーネルとそのデリバティブを計算するために、FFTベースのアルゴリズムを明示的に導出する。
論文参考訳（メタデータ） (2023-02-14T23:36:21Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文参考訳（メタデータ） (2021-12-23T03:52:33Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文参考訳（メタデータ） (2020-10-22T17:18:48Z)
Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination [11.173092834726528]
コンパクトニューラルネットワークをスクラッチから直接、低メモリと低計算コストでトレーニングすることが望ましい。低ランクテンソル分解は、大規模ニューラルネットワークのメモリと計算要求を減らす最も効果的な手法の1つである。本稿では,ニューラルネットワークの低ランクテンソル化トレーニングのためのエンドツーエンドフレームワークを提案する。
論文参考訳（メタデータ） (2020-10-17T01:23:26Z)
A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
論文参考訳（メタデータ） (2020-10-06T06:08:35Z)
Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
論文参考訳（メタデータ） (2020-08-12T17:10:12Z)
A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。