論文の概要: Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks

• arxiv url: http://arxiv.org/abs/2103.06583v1
• Date: Thu, 11 Mar 2021 10:24:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 14:45:24.333550
• Title: Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks
• Title（参考訳）: Preprint: Norm Loss: ディープニューラルネットワークの効率的かつ効果的な正規化手法
• Authors: Theodoros Georgiou, Sebastian Schmitt, Thomas B\"ack, Wei Chen, Michael Lew
• Abstract要約: 斜め多様体に基づく重み付き軟規則化法を提案する。 本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
• 参考スコア（独自算出の注目度）: 7.214681039134488
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Convolutional neural network training can suffer from diverse issues like exploding or vanishing gradients, scaling-based weight space symmetry and covariant-shift. In order to address these issues, researchers develop weight regularization methods and activation normalization methods. In this work we propose a weight soft-regularization method based on the Oblique manifold. The proposed method uses a loss function which pushes each weight vector to have a norm close to one, i.e. the weight matrix is smoothly steered toward the so-called Oblique manifold. We evaluate our method on the very popular CIFAR-10, CIFAR-100 and ImageNet 2012 datasets using two state-of-the-art architectures, namely the ResNet and wide-ResNet. Our method introduces negligible computational overhead and the results show that it is competitive to the state-of-the-art and in some cases superior to it. Additionally, the results are less sensitive to hyperparameter settings such as batch size and regularization factor.
• Abstract（参考訳）: 畳み込みニューラルネットワークトレーニングは、勾配の爆発や消失、スケーリングベースの重み空間対称性、共変シフトなど、さまざまな問題に直面する可能性がある。 これらの問題に対処するため、研究者は重み正規化法とアクティベーション正規化法を開発した。 本研究では斜交多様体に基づく重み付きソフト正則化法を提案する。 提案手法は、各重みベクトルを1に近いノルム(すなわち1)に押し付ける損失関数を用いる。 重み行列はいわゆる斜多様体に向かって滑らかに回転する。 本手法はCIFAR-10, CIFAR-100, ImageNet 2012の2つの最新アーキテクチャであるResNetとワイドResNetを用いて評価した。 提案手法は計算のオーバーヘッドを無視可能とし,その性能が最先端,場合によってはそれよりも優れていることを示す。 さらに、結果はバッチサイズや正規化係数といったハイパーパラメータの設定に対する感度が低い。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Regularization-based Pruning of Irrelevant Weights in Deep Neural Architectures [0.0]
  本稿では,無関係な重みを識別し,そのノルムを選択的に縮小する正規化手法を用いて,スパース神経トポロジを学習する手法を提案する。 提案手法を画像分類と自然言語生成のタスクで検証し,スパーシティとメトリクスの両面から比較結果を得た。
  論文  参考訳（メタデータ） (2022-04-11T09:44:16Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。