論文の概要: Adaptive Signal Variances: CNN Initialization Through Modern Architectures

• arxiv url: http://arxiv.org/abs/2008.06885v2
• Date: Sat, 29 Aug 2020 06:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 08:59:11.448790
• Title: Adaptive Signal Variances: CNN Initialization Through Modern Architectures
• Title（参考訳）: Adaptive Signal Variances: モダンアーキテクチャによるCNNの初期化
• Authors: Takahiko Henmi, Esmeraldo Ronnie Rey Zara, Yoshihiro Hirohashi, Tsuyoshi Kato
• Abstract要約: 深層畳み込みニューラルネットワーク(CNN)は、画像処理タスクにおけるそのパフォーマンスに対する不安定な信頼を達成している。 CNN実践者は、学習の安定性が各層でモデルパラメータを初期化する方法に依存するという事実を広く理解している。
• 参考スコア（独自算出の注目度）: 0.7646713951724012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep convolutional neural networks (CNN) have achieved the unwavering confidence in its performance on image processing tasks. The CNN architecture constitutes a variety of different types of layers including the convolution layer and the max-pooling layer. CNN practitioners widely understand the fact that the stability of learning depends on how to initialize the model parameters in each layer. Nowadays, no one doubts that the de facto standard scheme for initialization is the so-called Kaiming initialization that has been developed by He et al. The Kaiming scheme was derived from a much simpler model than the currently used CNN structure having evolved since the emergence of the Kaiming scheme. The Kaiming model consists only of the convolution and fully connected layers, ignoring the max-pooling layer and the global average pooling layer. In this study, we derived the initialization scheme again not from the simplified Kaiming model, but precisely from the modern CNN architectures, and empirically investigated how the new initialization method performs compared to the de facto standard ones that are widely used today.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(cnn)は、画像処理タスクにおけるその性能に対する不当な自信を実現した。 CNNアーキテクチャは、畳み込み層と最大プール層を含む様々なタイプの層を構成する。 CNN実践者は、学習の安定性が各層でモデルパラメータを初期化する方法に依存するという事実を広く理解している。 今日では、初期化のデファクト標準スキームが、Heらによって開発されたいわゆるカイミング初期化であると疑う者はいない。 カイミングスキームは、カイミングスキームの出現以来、現在使われているCNN構造よりもはるかに単純なモデルから派生したものである。 カイミングモデルは畳み込みと完全連結層のみで構成され、最大プール層とグローバル平均プール層を無視している。 本研究では, 単純化されたカイミングモデルではなく, 最新のCNNアーキテクチャから初期化手法を再度導出し, 現在広く使われているデファクト標準方式と比較して, 新たな初期化手法がどのように機能するかを実証的に検討した。

関連論文リスト

• Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
  ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。 モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
  論文  参考訳（メタデータ） (2024-08-26T17:35:01Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
  グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。 提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-22T12:17:32Z)
• Effects of Architectures on Continual Semantic Segmentation [0.0]
  本稿では,ニューラルネットワークアーキテクチャの選択が,クラス・ドメイン・インクリメンタルセマンティックセグメンテーションにおける破滅的忘れにどのように影響するかを検討する。 ResNetのような従来のCNNの可塑性は高いが安定性は低いが、トランスフォーマーアーキテクチャはずっと安定している。
  論文  参考訳（メタデータ） (2023-02-21T15:12:01Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Convolutional Neural Network Simplification with Progressive Retraining [0.0]
  カーネルプルーニング法は、畳み込みニューラルネットワーク(CNN)モデルの説明を高速化、単純化、改善するために提案されている。 本稿では,カーネル除去の客観的および主観的妥当性基準に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-01-12T19:05:42Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
  この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。 提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
  論文  参考訳（メタデータ） (2020-08-01T17:14:13Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。