論文の概要: Maximum-and-Concatenation Networks

• arxiv url: http://arxiv.org/abs/2007.04630v1
• Date: Thu, 9 Jul 2020 08:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 03:22:19.961701
• Title: Maximum-and-Concatenation Networks
• Title（参考訳）: 最大結合ネットワーク
• Authors: Xingyu Xie, Hao Kong, Jianlong Wu, Wayne Zhang, Guangcan Liu, Zhouchen Lin
• Abstract要約: そこで本研究では,局部最小限の最小化を図るために,MCN(Maximum-and-Concatenation Networks)と呼ばれる新しいアーキテクチャを提案する。 ネットワーク深度を増大させることで、MCNはローカルのミニマの良さを自律的に向上させることができる。 軽度条件下では,MCNが任意の連続関数を任意に近似できることを示す。
• 参考スコア（独自算出の注目度）: 77.17687542422875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While successful in many fields, deep neural networks (DNNs) still suffer from some open problems such as bad local minima and unsatisfactory generalization performance. In this work, we propose a novel architecture called Maximum-and-Concatenation Networks (MCN) to try eliminating bad local minima and improving generalization ability as well. Remarkably, we prove that MCN has a very nice property; that is, \emph{every local minimum of an $(l+1)$-layer MCN can be better than, at least as good as, the global minima of the network consisting of its first $l$ layers}. In other words, by increasing the network depth, MCN can autonomously improve its local minima's goodness, what is more, \emph{it is easy to plug MCN into an existing deep model to make it also have this property}. Finally, under mild conditions, we show that MCN can approximate certain continuous functions arbitrarily well with \emph{high efficiency}; that is, the covering number of MCN is much smaller than most existing DNNs such as deep ReLU. Based on this, we further provide a tight generalization bound to guarantee the inference ability of MCN when dealing with testing samples.
• Abstract（参考訳）: 多くの分野で成功しているにもかかわらず、ディープニューラルネットワーク(DNN)は、悪い局所ミニマや不満足な一般化性能などのオープンな問題に悩まされている。 本研究では,ローカルな最小値の削減と一般化能力の向上を図るため,MCN(Maximum-and-Concatenation Networks)と呼ばれる新しいアーキテクチャを提案する。 驚くべきことに、mcnは非常に良い性質を持っていることを証明している。すなわち、 \emph{ every local minimum of a $(l+1)$-layer mcnは、少なくとも、最初の$l$ layer}からなるネットワークのグローバルミニマより優れている。 言い換えれば、ネットワークの深さを増やすことで、mcnはローカルのミニマの良さを自律的に改善することができる。 最後に、穏やかな条件下では、MCN は任意の連続関数を \emph{high efficiency} と任意に近似できることを示し、すなわち、MCN の被覆数は、ディープReLU のような既存の DNN よりもはるかに小さい。 これに基づいて、テストサンプルを扱う際のMCNの推論能力を保証するための厳密な一般化も提供する。

関連論文リスト

• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
  幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。 また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
  論文  参考訳（メタデータ） (2022-10-21T14:41:26Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Sparse Super-Regular Networks [0.44689528869908496]
  疎結合ニューラルネットワーク(SCN)は、完全接続ネットワーク(FCN)よりも性能が向上している、と論じられている。 スーパーレギュラーネットワーク(Super-Regular Network、SRN)は、(エプシロン、デルタ)-スーパーレギュラーペアの積み重ねられたスパース層とランダムに置換されたノードオーダーからなるニューラルネットワークである。 我々は、SRNが容易に再現可能な実験により、X-Netと同じような性能を示し、ネットワーク構造に対するはるかに大きな保証と制御を提供する。
  論文  参考訳（メタデータ） (2022-01-04T22:07:55Z)
• Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
  近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。 本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。 パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T00:34:55Z)
• A Too-Good-to-be-True Prior to Reduce Shortcut Reliance [0.19573380763700707]
  ディープ畳み込みニューラルネットワーク(DCNN)は、しばしば分布外(o.o.d.)への一般化に失敗する。 サンプル この欠点の原因の1つは、現代建築が「ショートカット」に頼る傾向があることである。 この誘導バイアスは、低容量ネットワークからの予測を用いて高容量ネットワークのトレーニングを通知する2段階のアプローチで実装する。
  論文  参考訳（メタデータ） (2021-02-12T09:17:24Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Is the Skip Connection Provable to Reform the Neural Network Loss Landscape? [14.387975042485847]
  残余ネットワークは、現在、ディープラーニングにおいて最も効果的な構造の1つである。 スキップ接続が学習能力を向上させるかどうかは不明である。 これらのローカルミニマの深さは最大$O(meta-1)/n)$であり、$n$は入力、$eta1$である。 これは、ディープラーニングにおけるスキップ接続の有効性に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-06-10T16:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。