論文の概要: Analytic Convolutional Layer: A Step to Analytic Neural Network

• arxiv url: http://arxiv.org/abs/2407.06087v1
• Date: Wed, 3 Jul 2024 07:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 14:51:28.499083
• Title: Analytic Convolutional Layer: A Step to Analytic Neural Network
• Title（参考訳）: 分析畳み込み層:分析ニューラルネットワークへのステップ
• Authors: Jingmao Cui, Donglai Tao, Linmi Tao, Ruiyang Liu, Yu Cheng,
• Abstract要約: ACL(Analytic Convolutional Layer)は、分析的畳み込みカーネル(ACK)と従来の畳み込みカーネルのモザイクである。 ACLはニューラルネットワーク解釈の手段を提供するので、ニューラルネットワークの固有の解釈可能性の道を開くことができる。
• 参考スコア（独自算出の注目度）: 15.596391258983463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prevailing approach to embedding prior knowledge within convolutional layers typically includes the design of steerable kernels or their modulation using designated kernel banks. In this study, we introduce the Analytic Convolutional Layer (ACL), an innovative model-driven convolutional layer, which is a mosaic of analytical convolution kernels (ACKs) and traditional convolution kernels. ACKs are characterized by mathematical functions governed by analytic kernel parameters (AKPs) learned in training process. Learnable AKPs permit the adaptive update of incorporated knowledge to align with the features representation of data. Our extensive experiments demonstrate that the ACLs not only have a remarkable capacity for feature representation with a reduced number of parameters but also attain increased reliability through the analytical formulation of ACKs. Furthermore, ACLs offer a means for neural network interpretation, thereby paving the way for the intrinsic interpretability of neural network. The source code will be published in company with the paper.
• Abstract（参考訳）: 畳み込み層に事前知識を埋め込むための一般的なアプローチは、通常、ステアブルカーネルの設計や、指定されたカーネルバンクを使ったそれらの変調を含む。 本研究では,分析畳み込みカーネル(ACK)と従来の畳み込みカーネルのモザイクであるモデル駆動畳み込みレイヤ(ACL)を紹介する。 ACKは、トレーニングプロセスで学んだ解析的カーネルパラメータ(AKP)によって制御される数学的関数によって特徴づけられる。 学習可能なAKPは、組み込まれた知識を適応的に更新し、データの特徴表現と整合させることができる。 実験により,ACLはパラメータ数が少なく,特徴表現に顕著な能力を持つだけでなく,ACKの解析的定式化による信頼性の向上も示している。 さらに、ACLはニューラルネットワーク解釈の手段を提供し、それによってニューラルネットワークの固有の解釈可能性の道を開く。 ソースコードは同紙と共同で公開される予定だ。

関連論文リスト

• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Characterizing out-of-distribution generalization of neural networks: application to the disordered Su-Schrieffer-Heeger model [38.79241114146971]
  本稿では、量子位相の分類を訓練したニューラルネットワークの予測において、解釈可能性の手法が信頼を高める方法を示す。 特に, 複雑な分類問題において, 分配外分布の一般化を確実にできることを示す。 この研究は,解釈可能性手法の体系的利用が,科学的問題におけるNNの性能をいかに向上させるかを示す一例である。
  論文  参考訳（メタデータ） (2024-06-14T13:24:32Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping [46.083745557823164]
  我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。 本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-10-05T00:49:36Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces [4.5497405861975935]
  カーネル法は、信号処理や機械学習における非線形問題を解くため、理論的に座屈し、強力で汎用的な枠組みを形成する。 近年, NTカーネル適応フィルタ (KAF) を提案する。 我々は,内部積空間カーネルを用いたIPLの高速,スケーラブル,高精度な推定器群に着目した。
  論文  参考訳（メタデータ） (2020-01-01T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。