Fugu-MT 論文翻訳(概要): A Robust Initialization of Residual Blocks for Effective ResNet Training without Batch Normalization

論文の概要: A Robust Initialization of Residual Blocks for Effective ResNet Training without Batch Normalization

arxiv url: http://arxiv.org/abs/2112.12299v1
Date: Thu, 23 Dec 2021 01:13:15 GMT
ステータス: 処理完了
システム内更新日: 2021-12-24 16:36:05.555236
Title: A Robust Initialization of Residual Blocks for Effective ResNet Training without Batch Normalization
Title（参考訳）: バッチ正規化を伴わない効果的なresnetトレーニングのための残留ブロックのロバスト初期化
Authors: Enrico Civitelli, Alessio Sortino, Matteo Lapucci, Francesco Bagattini and Giulio Galvan
Abstract要約: バッチ正規化は、最先端のニューラルネットワークアーキテクチャに不可欠なコンポーネントである。重み付け初期化はResNetのような正規化のないネットワークをトレーニングするための鍵であることを示す。本研究では,CIFAR-10 上で,さらなる正規化やアルゴリズム修正を行なわずに競合する結果が得られることを示す。
参考スコア（独自算出の注目度）: 0.9449650062296823
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Batch Normalization is an essential component of all state-of-the-art neural networks architectures. However, since it introduces many practical issues, much recent research has been devoted to designing normalization-free architectures. In this paper, we show that weights initialization is key to train ResNet-like normalization-free networks. In particular, we propose a slight modification to the summation operation of a block output to the skip connection branch, so that the whole network is correctly initialized. We show that this modified architecture achieves competitive results on CIFAR-10 without further regularization nor algorithmic modifications.
Abstract（参考訳）: バッチ正規化は、最先端のニューラルネットワークアーキテクチャに不可欠なコンポーネントである。しかし、多くの実用的な問題をもたらしているため、近年では正規化フリーアーキテクチャの設計に力を入れている。本稿では,重み付き初期化がresnetライクな正規化フリーネットワークを訓練するための鍵であることを示す。特に,ブロック出力の和演算をスキップ接続分岐に少し修正し,ネットワーク全体が正しく初期化されるようにする。この修正されたアーキテクチャはcifar-10でさらなる正規化やアルゴリズムによる修正なしに競争力のある結果が得られることを示す。

関連論文リスト

Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
論文参考訳（メタデータ） (2023-12-25T11:53:06Z)
Towards Architecture-Agnostic Untrained Network Priors for Image Reconstruction with Frequency Regularization [14.73423587548693]
ネットワーク先行のスペクトルバイアスを直接変調する効率的なアーキテクチャ非依存手法を提案する。ほんの数行のコードで、パフォーマンスの低いアーキテクチャでの過度な適合を減らし、パフォーマンスの低いアーキテクチャとパフォーマンスのギャップを埋めることができます。その結果、アーキテクチャ上のバイアス、過度な適合、および未トレーニングのネットワークプリエントのランタイム上の問題に、アーキテクチャの変更なしに同時に対処できることが初めて明らかとなった。
論文参考訳（メタデータ） (2023-12-15T18:01:47Z)
Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文参考訳（メタデータ） (2023-10-11T12:46:11Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Dynamical Isometry for Residual Networks [8.21292084298669]
RISOTTO は ReLU 活性化機能を持つ残差ネットワークに対して, 有限深さ・幅でも完全な動的等尺性を実現することを示す。実験では,FixupやSkipInitなど,バッチ正規化を廃止する手法よりも優れた手法が提案されている。
論文参考訳（メタデータ） (2022-10-05T17:33:23Z)
Deep Neural Networks pruning via the Structured Perspective Regularization [5.061851539114448]
機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
論文参考訳（メタデータ） (2022-06-28T14:58:51Z)
AutoInit: Automatic Initialization via Jacobian Tuning [7.9603223299524535]
我々は、フィードフォワードDNNに対して、優れた初期化を自動的に見つけられる新しい安価なアルゴリズムを導入する。完全連結ネットワークに対するReLUを用いたアルゴリズムの動的解法と収束条件の導出について述べる。提案手法をResMLPおよびVGGアーキテクチャに適用し,本手法で検出したワンショット初期化によって視覚タスクの性能が向上することを示す。
論文参考訳（メタデータ） (2022-06-27T18:14:51Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
ZerO Initialization: Initializing Residual Networks with only Zeros and Ones [44.66636787050788]
ディープニューラルネットワークは通常ランダムウェイトを持ち、トレーニング中に安定した信号伝達を保証するために適切に選択された初期分散を持つ。ばらつきの選択方法にはコンセンサスがなく、レイヤーの数が増えるにつれて、これは難しくなります。本研究では、広く使われているランダムウェイト初期化を、ゼロと1しか持たない残差ネットワークを初期化する完全決定論的初期化スキームZerOに置き換える。驚くべきことに、ZerOはImageNetを含むさまざまな画像分類データセットに対して最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2021-10-25T06:17:33Z)
Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文参考訳（メタデータ） (2020-02-19T16:00:47Z)
BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method [69.49386965992464]
本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
論文参考訳（メタデータ） (2020-01-23T03:30:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。