論文の概要: Deep Neural-Kernel Machines

• arxiv url: http://arxiv.org/abs/2007.06655v2
• Date: Sun, 19 Jul 2020 11:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:05:05.767891
• Title: Deep Neural-Kernel Machines
• Title（参考訳）: ディープニューラルカーネルマシン
• Authors: Siamak Mehrkanoon
• Abstract要約: 本章では,近年のディープ・ニューラル・カーネル・アーキテクチャの進展に関する文献について概説する。 我々は、異なるプーリング層を備えたより深いモデルのためのコアモジュールとして機能するニューラルカーネルアーキテクチャを導入する。 特に,平均,最大,畳み込み層を有する3つのニューラルカーネルマシンについて検討した。
• 参考スコア（独自算出の注目度）: 4.213427823201119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this chapter we review the main literature related to the recent advancement of deep neural-kernel architecture, an approach that seek the synergy between two powerful class of models, i.e. kernel-based models and artificial neural networks. The introduced deep neural-kernel framework is composed of a hybridization of the neural networks architecture and a kernel machine. More precisely, for the kernel counterpart the model is based on Least Squares Support Vector Machines with explicit feature mapping. Here we discuss the use of one form of an explicit feature map obtained by random Fourier features. Thanks to this explicit feature map, in one hand bridging the two architectures has become more straightforward and on the other hand one can find the solution of the associated optimization problem in the primal, therefore making the model scalable to large scale datasets. We begin by introducing a neural-kernel architecture that serves as the core module for deeper models equipped with different pooling layers. In particular, we review three neural-kernel machines with average, maxout and convolutional pooling layers. In average pooling layer the outputs of the previous representation layers are averaged. The maxout layer triggers competition among different input representations and allows the formation of multiple sub-networks within the same model. The convolutional pooling layer reduces the dimensionality of the multi-scale output representations. Comparison with neural-kernel model, kernel based models and the classical neural networks architecture have been made and the numerical experiments illustrate the effectiveness of the introduced models on several benchmark datasets.
• Abstract（参考訳）: 本稿では,2つの強力なモデル,すなわちカーネルベースモデルとニューラルネットワークの相乗効果を求めるアプローチである深層ニューラルネットワークアーキテクチャの最近の進歩に関する主要な文献を概説する。 導入されたディープニューラルネットワークフレームワークは、ニューラルネットワークアーキテクチャとカーネルマシンのハイブリッド化で構成されている。 より正確には、カーネル対応のモデルは、明示的な特徴マッピングを持つ最小二乗サポートベクターマシンに基づいている。 本稿では,ランダムフーリエ特徴によって得られた明示的特徴マップの一形態の使用について述べる。 この明示的な機能マップのおかげで、2つのアーキテクチャをブリッジする方がより簡単になり、一方、プライマルで関連する最適化問題の解を見つけることができるため、モデルを大規模データセットにスケーラブルにすることができる。 まず,異なるプール層を備えた深層モデルのコアモジュールとして機能するニューラルカーネルアーキテクチャの導入から始める。 特に,平均,最大,畳み込み層を有する3つのニューラルカーネルマシンについて検討した。 平均プーリング層では、前の表現層の出力が平均される。 最大化層は異なる入力表現間の競合を引き起こし、同じモデル内で複数のサブネットワークを形成することができる。 畳み込みプーリング層は、マルチスケール出力表現の次元性を減少させる。 ニューラルネットワークモデル、カーネルベースモデル、古典的ニューラルネットワークアーキテクチャと比較し、いくつかのベンチマークデータセットで導入したモデルの有効性を数値実験で示す。

関連論文リスト

• Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation [5.8407437499182935]
  本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。 実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
  論文  参考訳（メタデータ） (2024-05-18T07:32:02Z)
• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Multigrid-Augmented Deep Learning Preconditioners for the Helmholtz Equation using Compact Implicit Layers [7.56372030029358]
  高波動数に対する離散異種ヘルムホルツ方程式を解くためのディープラーニングに基づく反復的手法を提案する。 畳み込みカーネルが反転するU-Netの粗い格子上に暗黙の層を持つマルチレベルU-NetライクなエンコーダCNNを構築する。 我々のアーキテクチャは、様々な難易度の異なる低速モデルの一般化に利用することができ、低速モデルごとに多くの右辺を解くのに効率的である。
  論文  参考訳（メタデータ） (2023-06-30T08:56:51Z)
• Deep Dependency Networks for Multi-Label Classification [24.24496964886951]
  マルコフ確率場とニューラルネットワークを組み合わせた従来の手法の性能は、わずかに改善できることを示す。 我々は、依存性ネットワークを拡張するディープ依存ネットワークと呼ばれる新しいモデリングフレームワークを提案する。 単純さにもかかわらず、この新しいアーキテクチャを共同学習することで、パフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-01T17:52:40Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。