Fugu-MT 論文翻訳(概要): LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks

論文の概要: LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks

arxiv url: http://arxiv.org/abs/2011.09905v1
Date: Mon, 16 Nov 2020 18:55:34 GMT
ステータス: 処理完了
システム内更新日: 2022-09-25 00:51:31.049345
Title: LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks
Title（参考訳）: LOss-based SensiTivity rEgulaRization--ディープスパースニューラルネットワークに向けて
Authors: Enzo Tartaglione, Andrea Bragagnolo, Attilio Fiandrotti and Marco Grangetto
Abstract要約: LOss-Based SensiTivity rEgulaRizationは、スパーストポロジを用いたニューラルネットワークのトレーニング方法である。本手法では,予備学習や巻き戻しを行わずにネットワークをゼロからトレーニングすることができる。
参考スコア（独自算出の注目度）: 15.373764014931792
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LOBSTER (LOss-Based SensiTivity rEgulaRization) is a method for training neural networks having a sparse topology. Let the sensitivity of a network parameter be the variation of the loss function with respect to the variation of the parameter. Parameters with low sensitivity, i.e. having little impact on the loss when perturbed, are shrunk and then pruned to sparsify the network. Our method allows to train a network from scratch, i.e. without preliminary learning or rewinding. Experiments on multiple architectures and datasets show competitive compression ratios with minimal computational overhead.
Abstract（参考訳）: LOBSTER (LOss-Based SensiTivity rEgulaRization) は、疎トポロジを持つニューラルネットワークを訓練する手法である。ネットワークパラメータの感度を、パラメータの変動に対する損失関数の変動とする。感度の低いパラメータ、すなわち摂動時の損失にほとんど影響を与えないパラメータを縮小し、ネットワークのスパース化のために刈り取る。本手法では,事前学習や巻き戻しをせずにネットワークをスクラッチからトレーニングすることができる。複数のアーキテクチャとデータセットの実験では、最小の計算オーバーヘッドで競合的な圧縮比を示す。

関連論文リスト

Sensitivity-Based Layer Insertion for Residual and Feedforward Neural Networks [0.3831327965422187]
ニューラルネットワークのトレーニングには、面倒でしばしば手動でネットワークアーキテクチャをチューニングする必要がある。トレーニングプロセス中に新しいレイヤを挿入する体系的手法を提案する。
論文参考訳（メタデータ） (2023-11-27T16:44:13Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文参考訳（メタデータ） (2022-05-31T15:55:37Z)
Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文参考訳（メタデータ） (2022-01-30T04:52:31Z)
$S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks [41.54155265996312]
シフトニューラルネットワークは、高価な乗算演算を除去し、連続的な重みを低ビットの離散値に量子化することによって複雑さを低減する。提案手法は、シフトニューラルネットワークの境界を押し上げ、3ビットシフトネットワークは、ImageNet上でトップ1の精度で、フル精度のニューラルネットワークよりも優れていることを示す。
論文参考訳（メタデータ） (2021-07-07T19:33:02Z)
Spline parameterization of neural network controls for deep learning [0.0]
我々は、ニューラルネットワークの訓練可能なパラメータである係数の固定数のBスプライン基底関数を選択する。スプラインベースのニューラルネットワークがハイパーパラメータに対する学習問題の堅牢性を高めることを数値的に示す。
論文参考訳（メタデータ） (2021-02-27T19:35:45Z)
SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks [13.60023740064471]
SeReNeはスパーストポロジを構造で学習する方法である。ニューロンの感度をネットワーク出力の変動として定義する。コスト関数のニューロン感度を正規化用語に含めることで、低感度でニューロンをプーンすることができる。
論文参考訳（メタデータ） (2021-02-07T10:53:30Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。