論文の概要: Deep equilibrium networks are sensitive to initialization statistics
- arxiv url: http://arxiv.org/abs/2207.09432v1
- Date: Tue, 19 Jul 2022 17:46:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 14:13:16.715397
- Title: Deep equilibrium networks are sensitive to initialization statistics
- Title（参考訳）: 深い平衡ネットワークは初期化統計に敏感である
- Authors: Atish Agarwala, Samuel S. Schoenholz
- Abstract要約: ディープ平衡ネットワーク(Deep equilibrium Network, DEQ)は、計算のためにメモリを交換するモデルを構築するための有望な方法である。
そこで,DECは行列列の高次統計に敏感であることを示す。
- 参考スコア（独自算出の注目度）: 20.838700258121193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep equilibrium networks (DEQs) are a promising way to construct models
which trade off memory for compute. However, theoretical understanding of these
models is still lacking compared to traditional networks, in part because of
the repeated application of a single set of weights. We show that DEQs are
sensitive to the higher order statistics of the matrix families from which they
are initialized. In particular, initializing with orthogonal or symmetric
matrices allows for greater stability in training. This gives us a practical
prescription for initializations which allow for training with a broader range
of initial weight scales.
- Abstract（参考訳）: ディープ平衡ネットワーク(DEQ)は、計算のためにメモリを交換するモデルを構築するための有望な方法である。
しかしながら、これらのモデルの理論的理解は、一組の重みの繰り返し適用のために、伝統的なネットワークと比較してまだ不足している。
本稿では,DECが初期化される行列系の高次統計に敏感であることを示す。
特に直交行列や対称行列を初期化することで、トレーニングの安定性が向上する。
これにより、より広範な初期重量スケールでのトレーニングを可能にする初期化の実践的な処方則が得られます。
関連論文リスト
- Using linear initialisation to improve speed of convergence and
fully-trained error in Autoencoders [0.0]
そこで我々はStraddled Matrix Initialiserと呼ばれる新しいウェイト初期化手法を導入する。
階層行列とReLU活性化関数の組み合わせは、ニューラルネットワークをデファクト線形モデルとして初期化する。
全ての実験において、Straddeled Matrix Initialiserは、他のすべての方法よりも明らかに優れています。
論文 参考訳（メタデータ） (2023-11-17T18:43:32Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Dynamical Isometry for Residual Networks [8.21292084298669]
RISOTTO は ReLU 活性化機能を持つ残差ネットワークに対して, 有限深さ・幅でも完全な動的等尺性を実現することを示す。
実験では,FixupやSkipInitなど,バッチ正規化を廃止する手法よりも優れた手法が提案されている。
論文 参考訳（メタデータ） (2022-10-05T17:33:23Z) - Variance-Aware Weight Initialization for Point Convolutional Neural
Networks [23.46612653627991]
連続的畳み込みの多さを統一する枠組みを提案する。
このフレームワークは、類似性があり、場合によってはパフォーマンスが向上しながら、バッチの正規化を回避できることを示す。
論文 参考訳（メタデータ） (2021-12-07T15:47:14Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳（メタデータ） (2021-06-28T00:14:11Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。
学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文 参考訳（メタデータ） (2020-07-25T13:23:37Z) - Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural
Network Initialization? [31.122757815108884]
ほぼすべての重みを0ドルに初期化することにより、同一の特徴を持つ深層畳み込みネットワークを構築する。
このアーキテクチャは完全な信号伝搬と安定した勾配を可能にし、標準ベンチマークの精度も高い。
論文 参考訳（メタデータ） (2020-07-02T11:49:17Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。