論文の概要: Super Neurons

• arxiv url: http://arxiv.org/abs/2109.01594v2
• Date: Sat, 15 Apr 2023 21:14:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 01:12:59.485856
• Title: Super Neurons
• Title（参考訳）: 超ニューロン
• Authors: Serkan Kiranyaz, Junaid Malik, Mehmet Yamac, Mert Duman, Ilke Adalioglu, Esin Guldogan, Turker Ince, and Moncef Gabbouj
• Abstract要約: 非線形学習ユニットを用いたニューラルネットワークモデルとして,自己組織型オペレーショナルニューラルネットワーク(Self-ONN)が提案されている。 Self-ONNには、ローカライズされた(固定された)カーネル操作という共通の欠点がある。 本稿では、ランダムまたは学習可能なカーネルシフトを可能にする優れた(生成的な)ニューロンモデルを示す。
• 参考スコア（独自算出の注目度）: 18.710336981941147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Organized Operational Neural Networks (Self-ONNs) have recently been proposed as new-generation neural network models with nonlinear learning units, i.e., the generative neurons that yield an elegant level of diversity; however, like its predecessor, conventional Convolutional Neural Networks (CNNs), they still have a common drawback: localized (fixed) kernel operations. This severely limits the receptive field and information flow between layers and thus brings the necessity for deep and complex models. It is highly desired to improve the receptive field size without increasing the kernel dimensions. This requires a significant upgrade over the generative neurons to achieve the non-localized kernel operations for each connection between consecutive layers. In this article, we present superior (generative) neuron models (or super neurons in short) that allow random or learnable kernel shifts and thus can increase the receptive field size of each connection. The kernel localization process varies among the two super-neuron models. The first model assumes randomly localized kernels within a range and the second one learns (optimizes) the kernel locations during training. An extensive set of comparative evaluations against conventional and deformable convolutional, along with the generative neurons demonstrates that super neurons can empower Self-ONNs to achieve a superior learning and generalization capability with a minimal computational complexity burden.
• Abstract（参考訳）: 自己組織型オペレーショナルニューラルネットワーク(self-onns)は、非線形学習単位(すなわち、エレガントな多様性をもたらす生成ニューロン)を持つ新しい世代のニューラルネットワークモデルとして最近提案されているが、従来の畳み込みニューラルネットワーク(cnns)と同様に、ローカライズ(固定)カーネル操作という共通の欠点がある。 これにより、層間の受容領域と情報フローが著しく制限され、深い複雑なモデルの必要性が生じる。 カーネル次元を増加させずに受容体サイズを改善することが非常に望まれる。 これにより、連続層間の接続毎に非局在化されたカーネル操作を実現するために、生成ニューロンに対する大幅なアップグレードが必要となる。 本稿では、ランダムまたは学習可能なカーネルシフトを許容し、各接続の受容野サイズを増加させることができる優れた(生成的)ニューロンモデル(または、略してスーパーニューロン)を提案する。 核局在過程は2つのスーパーニューロンモデルによって異なる。 第1モデルはランダムに局所化されたカーネルを範囲内に仮定し、第2モデルはトレーニング中にカーネルの位置を学習(最適化)する。 従来の畳み込みと変形可能な畳み込みに対する広範囲な比較評価と生成ニューロンは、スーパーニューロンが、計算の複雑さを最小に抑えながら、優れた学習と一般化能力を達成することができることを証明している。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• Deep Learning in Random Neural Fields: Numerical Experiments via Neural Tangent Kernel [10.578941575914516]
  大脳皮質の生物学的ニューラルネットワークは神経野を形成する。 野のニューロンは独自の受容野を持ち、2つのニューロン間の接続重みはランダムであるが、受容野に近接しているときに非常に相関している。 このような多層ニューラルネットワークは、ノイズ障害によって入力パターンが変形する場合、従来のモデルよりも頑健であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:57:10Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
  アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
  論文  参考訳（メタデータ） (2022-01-05T00:24:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Continual Learning with Deep Artificial Neurons [0.0]
  本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。 ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。 適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
  論文  参考訳（メタデータ） (2020-11-13T17:50:10Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。