論文の概要: Designing Network Design Strategies Through Gradient Path Analysis
- arxiv url: http://arxiv.org/abs/2211.04800v1
- Date: Wed, 9 Nov 2022 10:51:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 17:05:41.145977
- Title: Designing Network Design Strategies Through Gradient Path Analysis
- Title（参考訳）: 勾配経路解析によるネットワーク設計戦略の設計
- Authors: Chien-Yao Wang, Hong-Yuan Mark Liao, I-Hau Yeh
- Abstract要約: 本稿では,勾配経路解析に基づいてネットワークアーキテクチャを設計するための新しいネットワーク設計戦略を提案する。
本稿では,階層レベル,ステージレベル,ネットワークレベルの勾配経路設計戦略を提案する。
- 参考スコア（独自算出の注目度）: 12.90962626557934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Designing a high-efficiency and high-quality expressive network architecture
has always been the most important research topic in the field of deep
learning. Most of today's network design strategies focus on how to integrate
features extracted from different layers, and how to design computing units to
effectively extract these features, thereby enhancing the expressiveness of the
network. This paper proposes a new network design strategy, i.e., to design the
network architecture based on gradient path analysis. On the whole, most of
today's mainstream network design strategies are based on feed forward path,
that is, the network architecture is designed based on the data path. In this
paper, we hope to enhance the expressive ability of the trained model by
improving the network learning ability. Due to the mechanism driving the
network parameter learning is the backward propagation algorithm, we design
network design strategies based on back propagation path. We propose the
gradient path design strategies for the layer-level, the stage-level, and the
network-level, and the design strategies are proved to be superior and feasible
from theoretical analysis and experiments.
- Abstract（参考訳）: 高性能で高品質な表現型ネットワークアーキテクチャを設計することは、ディープラーニング分野における最も重要な研究トピックである。
今日のネットワーク設計戦略のほとんどは、異なるレイヤから抽出された機能を統合する方法と、これらの機能を効果的に抽出し、ネットワークの表現力を高めるコンピューティングユニットを設計する方法に焦点を当てている。
本稿では,勾配経路解析に基づいてネットワークアーキテクチャを設計するための新しいネットワーク設計戦略を提案する。
全体として、今日の主流のネットワーク設計戦略のほとんどはフィードフォワードパスに基づいており、すなわち、ネットワークアーキテクチャはデータパスに基づいて設計されている。
本稿では,ネットワーク学習能力の向上により,学習モデルの表現能力の向上を期待する。
ネットワークパラメータ学習を駆動するメカニズムが後方伝搬アルゴリズムであるため,バック伝搬経路に基づくネットワーク設計戦略を設計する。
本研究では, 層レベル, ステージレベル, ネットワークレベルに対する勾配経路設計戦略を提案し, 設計戦略が理論的解析と実験から優れていることが証明された。
関連論文リスト
- Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳（メタデータ） (2023-03-05T17:57:33Z) - Hysteretic Behavior Simulation Based on Pyramid Neural
Network:Principle, Network Architecture, Case Study and Explanation [0.0]
ニューラルネットワークに基づく代理モデルでは、効率と精度のバランスをとる大きな可能性を示している。
単一レベルの特徴に基づく連続的な情報フローと予測は、ネットワーク性能に悪影響を及ぼす。
ここでは重み付けされたピラミッドニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-29T16:42:00Z) - Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。
NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-03-31T10:16:10Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Analyze and Design Network Architectures by Recursion Formulas [4.085771561472743]
この研究は、新しいネットワークアーキテクチャを設計するための効果的な方法を見つけ出そうとする。
ネットワークアーキテクチャの主な違いは,それらの公式に反映できることが判明した。
ResNetに基づいた改良されたアーキテクチャを生成するためのケーススタディが提供されている。
CIFARとImageNetで大規模な実験が行われ、大幅なパフォーマンス改善が見られた。
論文 参考訳（メタデータ） (2021-08-18T06:53:30Z) - Dynamically Grown Generative Adversarial Networks [111.43128389995341]
本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。
本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
論文 参考訳（メタデータ） (2021-06-16T01:25:51Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - FactorizeNet: Progressive Depth Factorization for Efficient Network
Architecture Exploration Under Quantization Constraints [93.4221402881609]
量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。
アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。
このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
論文 参考訳（メタデータ） (2020-11-30T07:12:26Z) - Ring Reservoir Neural Networks for Graphs [15.07984894938396]
貯留層コンピューティングモデルは、実りあるグラフの埋め込みを開発する上で重要な役割を果たす。
我々の中心となる提案は、リングトポロジーに従うために隠れたニューロンの組織を形成することに基づいている。
グラフ分類タスクの実験結果は、リング・リザーバアーキテクチャが特に効果的なネットワーク構成を可能にしていることを示している。
論文 参考訳（メタデータ） (2020-05-11T17:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。