Fugu-MT 論文翻訳(概要): Kernel function impact on convolutional neural networks

論文の概要: Kernel function impact on convolutional neural networks

arxiv url: http://arxiv.org/abs/2302.10266v1
Date: Mon, 20 Feb 2023 19:57:01 GMT
ステータス: 処理完了
システム内更新日: 2023-02-22 17:21:24.333587
Title: Kernel function impact on convolutional neural networks
Title（参考訳）: カーネル関数が畳み込みニューラルネットワークに与える影響
Authors: M.Amine Mahmoudi, Aladine Chetouani, Fatma Boufera, Hedi Tabia
Abstract要約: 畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
参考スコア（独自算出の注目度）: 10.98068123467568
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates the usage of kernel functions at the different layers in a convolutional neural network. We carry out extensive studies of their impact on convolutional, pooling and fully-connected layers. We notice that the linear kernel may not be sufficiently effective to fit the input data distributions, whereas high order kernels prone to over-fitting. This leads to conclude that a trade-off between complexity and performance should be reached. We show how one can effectively leverage kernel functions, by introducing a more distortion aware pooling layers which reduces over-fitting while keeping track of the majority of the information fed into subsequent layers. We further propose Kernelized Dense Layers (KDL), which replace fully-connected layers, and capture higher order feature interactions. The experiments on conventional classification datasets i.e. MNIST, FASHION-MNIST and CIFAR-10, show that the proposed techniques improve the performance of the network compared to classical convolution, pooling and fully connected layers. Moreover, experiments on fine-grained classification i.e. facial expression databases, namely RAF-DB, FER2013 and ExpW demonstrate that the discriminative power of the network is boosted, since the proposed techniques improve the awareness to slight visual details and allows the network reaching state-of-the-art results.
Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。我々は, 畳み込み層, プール層, および完全連結層への影響について詳細な研究を行う。我々は、線形カーネルが入力データ分布に適合するには十分ではないかもしれないことに気付き、一方高次カーネルは過剰フィッティングを起こしやすい。この結果、複雑性とパフォーマンスのトレードオフが達成されるべきだと結論付けている。カーネル関数を効果的に活用する方法を示し、より歪みに敏感なプール層を導入し、後続のレイヤに供給される情報の大半を追跡しながら過度に適合する情報を減らす。さらに,完全連結層を置き換え,高次特徴的相互作用をキャプチャするカーネル化高密度層(kdl)を提案する。従来の分類データセットであるMNIST, FASHION-MNIST, CIFAR-10では, 従来の畳み込み, プール, 完全連結層に比べてネットワーク性能が向上した。さらに,詳細な分類,すなわちraf-db,fer2013,expwを用いた実験により,ネットワークの識別能力が向上していることが示される。

関連論文リスト

Mechanism of feature learning in convolutional neural networks [14.612673151889615]
我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
論文参考訳（メタデータ） (2023-09-01T16:30:02Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data [0.0]
フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
論文参考訳（メタデータ） (2021-12-01T10:46:13Z)
Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
論文参考訳（メタデータ） (2021-07-09T14:23:57Z)
Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-06-15T06:39:13Z)
Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文参考訳（メタデータ） (2021-04-03T09:08:12Z)
On Approximation in Deep Convolutional Networks: a Kernel Perspective [12.284934135116515]
画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
論文参考訳（メタデータ） (2021-02-19T17:03:42Z)
Kernelized dense layers for facial expression recognition [10.98068123467568]
本稿では,従来の線形関係ではなく,高次特徴相互作用をキャプチャするカーネル化Dense Layer (KDL)を提案する。本モデルでは,最先端のアプローチに関して,競争力のある結果が得られることを示す。
論文参考訳（メタデータ） (2020-09-22T21:02:00Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。