論文の概要: Multi-Kernel Fusion for RBF Neural Networks

• arxiv url: http://arxiv.org/abs/2007.02592v1
• Date: Mon, 6 Jul 2020 09:07:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:24:23.727168
• Title: Multi-Kernel Fusion for RBF Neural Networks
• Title（参考訳）: rbfニューラルネットワークのためのマルチカーネル融合
• Authors: Syed Muhammad Atif, Shujaat Khan, Imran Naseem, Roberto Togneri, Mohammed Bennamoun
• Abstract要約: 放射基底関数ニューラルネットワークは、大きなパフォーマンス上の利点をもたらす複数のカーネルを備えている。 本稿では,各カーネルが独自の(ローカル)重みを持つマルチカーネルRBFNNを提案する。
• 参考スコア（独自算出の注目度）: 40.204677814432074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A simple yet effective architectural design of radial basis function neural networks (RBFNN) makes them amongst the most popular conventional neural networks. The current generation of radial basis function neural network is equipped with multiple kernels which provide significant performance benefits compared to the previous generation using only a single kernel. In existing multi-kernel RBF algorithms, multi-kernel is formed by the convex combination of the base/primary kernels. In this paper, we propose a novel multi-kernel RBFNN in which every base kernel has its own (local) weight. This novel flexibility in the network provides better performance such as faster convergence rate, better local minima and resilience against stucking in poor local minima. These performance gains are achieved at a competitive computational complexity compared to the contemporary multi-kernel RBF algorithms. The proposed algorithm is thoroughly analysed for performance gain using mathematical and graphical illustrations and also evaluated on three different types of problems namely: (i) pattern classification, (ii) system identification and (iii) function approximation. Empirical results clearly show the superiority of the proposed algorithm compared to the existing state-of-the-art multi-kernel approaches.
• Abstract（参考訳）: 放射状基底関数ニューラルネットワーク(rbfnn)の単純かつ効果的なアーキテクチャ設計は、最も一般的な従来のニューラルネットワークの一つである。 現世代のラジアル基底関数ニューラルネットワークは、複数のカーネルを備えており、単一のカーネルのみを使用する前の世代と比較して大きなパフォーマンス上の利点を提供する。 既存のマルチカーネルRBFアルゴリズムでは、ベース/プライマリカーネルの凸結合によってマルチカーネルが形成される。 本稿では,すべてのベースカーネルが独自の(局所的な)重みを持つ,新しいマルチカーネル rbfnn を提案する。 このネットワークにおける新しい柔軟性は、より高速な収束率、より優れた局所最小化、貧弱な局所最小化に対するレジリエンスなどのパフォーマンスを提供する。 これらの性能向上は、現代のマルチカーネルRBFアルゴリズムと比較して、競合計算の複雑さで達成される。 提案アルゴリズムは, 数学的およびグラフィカルな図解を用いて性能向上を徹底的に分析し, 3種類の問題に対して評価する。 (i)パターン分類 (ii)システム識別及び (iii)関数近似。 実験結果から,提案アルゴリズムは既存の最先端マルチカーネル手法よりも優れていることが明らかになった。

関連論文リスト

• Universality and Optimality of Structured Deep Kernel Networks [0.0]
  カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。 機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。 本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed [27.38015169185521]
  2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。 ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:10:15Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• A Genetic Algorithm based Kernel-size Selection Approach for a Multi-column Convolutional Neural Network [11.040847116812046]
  本稿では,畳み込みニューラルネットワークアーキテクチャのハイパーパラメータ(カーネルサイズ)の最適組み合わせを見つけるための遺伝的アルゴリズムに基づく手法を提案する。 本手法は手書き文字と数字の異なる3つの一般的なデータセットで評価される。
  論文  参考訳（メタデータ） (2019-12-28T05:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。