論文の概要: A Study on the Uncertainty of Convolutional Layers in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.13719v1
• Date: Fri, 27 Nov 2020 13:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:36:18.218880
• Title: A Study on the Uncertainty of Convolutional Layers in Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける畳み込み層の不確かさに関する研究
• Authors: Haojing Shen, Sihong Chen, Ran Wang
• Abstract要約: 本稿では,ニューラルネットワーク構造における畳み込み層の接続重みに存在するMin-Max特性,すなわちLeNetについて述べる。 不確実性の観点から、Min-Max特性がモデルパラメータのファジィを最小化することを示す。 実験により、Min-Max特性を持つモデルが強い対向性を持つことが確認され、この特性は損失関数の設計に組み込むことができる。
• 参考スコア（独自算出の注目度）: 3.5808405807746406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper shows a Min-Max property existing in the connection weights of the convolutional layers in a neural network structure, i.e., the LeNet. Specifically, the Min-Max property means that, during the back propagation-based training for LeNet, the weights of the convolutional layers will become far away from their centers of intervals, i.e., decreasing to their minimum or increasing to their maximum. From the perspective of uncertainty, we demonstrate that the Min-Max property corresponds to minimizing the fuzziness of the model parameters through a simplified formulation of convolution. It is experimentally confirmed that the model with the Min-Max property has a stronger adversarial robustness, thus this property can be incorporated into the design of loss function. This paper points out a changing tendency of uncertainty in the convolutional layers of LeNet structure, and gives some insights to the interpretability of convolution.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク構造,すなわちLeNetにおける畳み込み層の接続重みに存在するMin-Max特性を示す。 具体的には、Min-Max特性は、LeNetの後方伝播ベースのトレーニングの間、畳み込み層の重みが間隔の中心から遠ざかる、すなわち最小限に減少するか、最大まで増加することを意味する。 不確実性の観点から、Min-Max特性が畳み込みの簡易な定式化によってモデルパラメータのファジィを最小化することを示す。 実験により、Min-Max特性を持つモデルが強い対向性を持つことが確認され、この特性は損失関数の設計に組み込むことができる。 本稿では,レネ構造の畳み込み層における不確かさの変化傾向を指摘し,畳み込みの解釈可能性について考察する。

関連論文リスト

• Progressive Feedforward Collapse of ResNet Training [7.824226954174748]
  トレーニング中の最終層の特徴とデータおよび中間層との関係について検討する。 重み減衰したResNetが終位相のワッサーシュタイン空間の測地線曲線を近似するので、よく訓練されたResNetのモデルを導出する。 本研究ではNCをPFCに拡張し、中間層の崩壊現象と入力データへの依存性をモデル化し、分類問題におけるResNetの理論的理解に光を当てる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:08Z)
• Supervised Contrastive Representation Learning: Landscape Analysis with Unconstrained Features [33.703796571991745]
  最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。 これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T06:02:45Z)
• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• Convex Bounds on the Softmax Function with Applications to Robustness Verification [69.09991317119679]
  ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。 本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
  論文  参考訳（メタデータ） (2023-03-03T05:07:02Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
  非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。 このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。 また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T14:18:47Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse in Imbalanced Training [39.137793683411424]
  解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。 このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。 特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
  論文  参考訳（メタデータ） (2021-01-29T17:37:17Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。