論文の概要: AutoInit: Analytic Signal-Preserving Weight Initialization for Neural
Networks
- arxiv url: http://arxiv.org/abs/2109.08958v1
- Date: Sat, 18 Sep 2021 15:57:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:22:06.829653
- Title: AutoInit: Analytic Signal-Preserving Weight Initialization for Neural
Networks
- Title（参考訳）: AutoInit: ニューラルネットワークのための分析信号保存重み初期化
- Authors: Garrett Bingham and Risto Miikkulainen
- Abstract要約: 本稿では、異なるニューラルネットワークアーキテクチャに自動的に適応する重み初期化アルゴリズムであるAutoInitを紹介する。
AutoInitは、アクティベーション関数、ドロップアウト、ウェイト崩壊、学習速度、正規化器設定など、さまざまな畳み込みネットワークや残差ネットワークの性能を改善している。
- 参考スコア（独自算出の注目度）: 19.41548061589441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks require careful weight initialization to prevent signals from
exploding or vanishing. Existing initialization schemes solve this problem in
specific cases by assuming that the network has a certain activation function
or topology. It is difficult to derive such weight initialization strategies,
and modern architectures therefore often use these same initialization schemes
even though their assumptions do not hold. This paper introduces AutoInit, a
weight initialization algorithm that automatically adapts to different neural
network architectures. By analytically tracking the mean and variance of
signals as they propagate through the network, AutoInit is able to
appropriately scale the weights at each layer to avoid exploding or vanishing
signals. Experiments demonstrate that AutoInit improves performance of various
convolutional and residual networks across a range of activation function,
dropout, weight decay, learning rate, and normalizer settings. Further, in
neural architecture search and activation function meta-learning, AutoInit
automatically calculates specialized weight initialization strategies for
thousands of unique architectures and hundreds of unique activation functions,
and improves performance in vision, language, tabular, multi-task, and transfer
learning scenarios. AutoInit thus serves as an automatic configuration tool
that makes design of new neural network architectures more robust. The AutoInit
package provides a wrapper around existing TensorFlow models and is available
at https://github.com/cognizant-ai-labs/autoinit.
- Abstract（参考訳）: ニューラルネットワークは、信号の爆発や消滅を防ぐために、注意深い初期化を必要とする。
既存の初期化スキームは、ネットワークが特定の活性化関数やトポロジを持つと仮定して、特定のケースでこの問題を解決する。
このような重み初期化戦略を導出することは困難であり、従って現代のアーキテクチャではこれらの同じ初期化スキームを使うことが多い。
本稿では,異なるニューラルネットワークアーキテクチャに自動適応する重み初期化アルゴリズムであるautoinitについて述べる。
ネットワークを伝搬する信号の平均とばらつきを分析的に追跡することで、autoinitは各層における重みを適切にスケーリングすることで、信号の爆発や消滅を避けることができる。
AutoInitは、アクティベーション関数、ドロップアウト、ウェイト崩壊、学習速度、正規化器設定など、さまざまな畳み込みネットワークや残差ネットワークの性能を改善している。
さらに、ニューラルネットワークの検索および活性化関数メタラーニングにおいて、autoinitは、数千のユニークなアーキテクチャと数百のユニークなアクティベーション関数に対する特殊ウェイト初期化戦略を自動的に計算し、視覚、言語、表、マルチタスク、転送学習シナリオのパフォーマンスを向上させる。
したがってAutoInitは、新しいニューラルネットワークアーキテクチャの設計をより堅牢にする自動設定ツールとして機能する。
AutoInitパッケージは、既存のTensorFlowモデルのラッパーを提供し、https://github.com/cognizant-ai-labs/autoinitで利用できる。
関連論文リスト
- Self-training superconducting neuromorphic circuits using reinforcement learning rules [0.0]
本稿では,強化学習に基づく局所的重量更新規則の集合とその超伝導ハードウェアへの実装について述べる。
我々は1ナノ秒の学習時間を持つ小型ニューラルネットワークを実装した。
重みの調整は、回路がエラーをバックプロパゲートする必要性をなくすグローバルな強化信号に基づいている。
論文 参考訳（メタデータ） (2024-04-29T15:09:00Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - Dynamical systems' based neural networks [0.7874708385247353]
我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。
ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。
2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
論文 参考訳（メタデータ） (2022-10-05T16:30:35Z) - AutoInit: Automatic Initialization via Jacobian Tuning [7.9603223299524535]
我々は、フィードフォワードDNNに対して、優れた初期化を自動的に見つけられる新しい安価なアルゴリズムを導入する。
完全連結ネットワークに対するReLUを用いたアルゴリズムの動的解法と収束条件の導出について述べる。
提案手法をResMLPおよびVGGアーキテクチャに適用し,本手法で検出したワンショット初期化によって視覚タスクの性能が向上することを示す。
論文 参考訳（メタデータ） (2022-06-27T18:14:51Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。