論文の概要: Zero Stability Well Predicts Performance of Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2206.13100v1
• Date: Mon, 27 Jun 2022 08:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 15:57:37.075253
• Title: Zero Stability Well Predicts Performance of Convolutional Neural Networks
• Title（参考訳）: zero stability wellは畳み込みニューラルネットワークの性能を予測する
• Authors: Liangming Chen, Long Jin, Mingsheng Shang
• Abstract要約: 通常の微分方程式の離散解法がゼロ安定であれば、その解法に対応するCNNはよく機能する。 予備観測に基づいて,CNNの構成とゼロ安定ネットワーク(ZeroSNet)の高次離散化を提案する。 ZeroSNetの安定性を保証するため、まず、整合性条件を満たす構造を導出し、訓練不要パラメータのゼロ安定領域を与える。
• 参考スコア（独自算出の注目度）: 6.965550605588623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The question of what kind of convolutional neural network (CNN) structure performs well is fascinating. In this work, we move toward the answer with one more step by connecting zero stability and model performance. Specifically, we found that if a discrete solver of an ordinary differential equation is zero stable, the CNN corresponding to that solver performs well. We first give the interpretation of zero stability in the context of deep learning and then investigate the performance of existing first- and second-order CNNs under different zero-stable circumstances. Based on the preliminary observation, we provide a higher-order discretization to construct CNNs and then propose a zero-stable network (ZeroSNet). To guarantee zero stability of the ZeroSNet, we first deduce a structure that meets consistency conditions and then give a zero stable region of a training-free parameter. By analyzing the roots of a characteristic equation, we theoretically obtain the optimal coefficients of feature maps. Empirically, we present our results from three aspects: We provide extensive empirical evidence of different depth on different datasets to show that the moduli of the characteristic equation's roots are the keys for the performance of CNNs that require historical features; Our experiments show that ZeroSNet outperforms existing CNNs which is based on high-order discretization; ZeroSNets show better robustness against noises on the input. The source code is available at \url{https://github.com/LongJin-lab/ZeroSNet}.
• Abstract（参考訳）: どのような畳み込みニューラルネットワーク(CNN)構造がうまく機能するのかという疑問は興味深い。 本研究は,ゼロ安定性とモデル性能を接続することにより,さらなるステップで解を求めるものである。 具体的には、通常の微分方程式の離散解法がゼロ安定であれば、その解法に対応するCNNはよく機能する。 まず, 深層学習におけるゼロ安定性の解釈を行い, 異なるゼロ安定条件下での既存1次および2次cnnの性能について検討する。 予備観測に基づいて, cnnを構成する高次離散化を行い, ゼロ安定ネットワーク (zerosnet) を提案する。 zerosnetの安定性をゼロにするために、まず一貫性条件を満たす構造を推定し、トレーニングフリーパラメータのゼロ安定領域を与える。 特徴方程式の根を解析することにより,特徴写像の最適係数を理論的に求める。 我々は,特徴方程式の根のモジュラーが歴史的特徴を必要とするcnnの性能の鍵であることを示すために,異なるデータセットの深さに関する広範な実証的証拠を提供する。 ソースコードは \url{https://github.com/LongJin-lab/ZeroSNet} で入手できる。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
  フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。 我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。 提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
  論文  参考訳（メタデータ） (2023-12-19T11:36:03Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• 0/1 Deep Neural Networks via Block Coordinate Descent [40.11141921215105]
  ステップ関数は、ディープニューラルネットワーク(DNN)における最も単純かつ最も自然な活性化関数の1つである 正の変数は 1 で、他の変数は 0 であるので、本質的な特性(例えば、不連続性や下位段階の情報がないなど)は数十年にわたってその発展を妨げる。
  論文  参考訳（メタデータ） (2022-06-19T11:12:30Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)
• Training Stable Graph Neural Networks Through Constrained Learning [116.03137405192356]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから機能を学ぶためにグラフ畳み込みに依存する。 GNNは、グラフフィルタから受け継いだ特性である、基礎となるグラフの様々な種類の摂動に対して安定である。 本稿では,GNNの安定条件に制約を課すことにより,新たな制約付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T15:54:42Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。