論文の概要: Deep Learning in Random Neural Fields: Numerical Experiments via Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2202.05254v1
• Date: Thu, 10 Feb 2022 18:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 16:24:52.775404
• Title: Deep Learning in Random Neural Fields: Numerical Experiments via Neural Tangent Kernel
• Title（参考訳）: ランダムニューラルネットワークにおける深層学習:ニューラルタンジェントカーネルによる数値実験
• Authors: Kaito Watanabe, Kotaro Sakamoto, Ryo Karakida, Sho Sonoda, Shun-ichi Amari
• Abstract要約: 大脳皮質の生物学的ニューラルネットワークは神経野を形成する。 野のニューロンは独自の受容野を持ち、2つのニューロン間の接続重みはランダムであるが、受容野に近接しているときに非常に相関している。 このような多層ニューラルネットワークは、ノイズ障害によって入力パターンが変形する場合、従来のモデルよりも頑健であることを示す。
• 参考スコア（独自算出の注目度）: 10.578941575914516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A biological neural network in the cortex forms a neural field. Neurons in the field have their own receptive fields, and connection weights between two neurons are random but highly correlated when they are in close proximity in receptive fields. In this paper, we investigate such neural fields in a multilayer architecture to investigate the supervised learning of the fields. We empirically compare the performances of our field model with those of randomly connected deep networks. The behavior of a randomly connected network is investigated on the basis of the key idea of the neural tangent kernel regime, a recent development in the machine learning theory of over-parameterized networks; for most randomly connected neural networks, it is shown that global minima always exist in their small neighborhoods. We numerically show that this claim also holds for our neural fields. In more detail, our model has two structures: i) each neuron in a field has a continuously distributed receptive field, and ii) the initial connection weights are random but not independent, having correlations when the positions of neurons are close in each layer. We show that such a multilayer neural field is more robust than conventional models when input patterns are deformed by noise disturbances. Moreover, its generalization ability can be slightly superior to that of conventional models.
• Abstract（参考訳）: 大脳皮質の生物学的ニューラルネットワークは神経野を形成する。 フィールド内のニューロンは、それぞれの受容野を持ち、2つのニューロン間の結合重みはランダムであるが、受容野に近接すると高い相関性を持つ。 本稿では,多層構造におけるそのようなニューラルネットワークについて検討し,その教師付き学習について検討する。 フィールドモデルとランダムに接続されたディープネットワークの性能を実証的に比較する。 ランダムに接続されたネットワークの挙動は、過パラメータネットワークの機械学習理論における最近の発展であるニューラル・タンジェント・カーネル・レジーム(neural tangent kernel regime)の鍵となる考え方に基づいて研究され、ほとんどのランダムに接続されたニューラルネットワークにおいて、大域的ミニマは常にその小さな近傍に存在することが示されている。 我々は、この主張が我々の神経場にも当てはまることを数値的に示す。 より詳しくは、私たちのモデルには2つの構造があります。 一 フィールド内の各ニューロンは、連続的に分布する受容野を有し、 二 初期接続重みは、ランダムであるが独立性がなく、各層にニューロンの位置が近いとき、相関関係を有する。 このような多層ニューラルネットワークは, 入力パターンが雑音外乱により変形する場合, 従来のモデルよりも頑健であることを示す。 さらに、その一般化能力は従来のモデルよりもわずかに優れている。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
  神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。 一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。 我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
  論文  参考訳（メタデータ） (2023-07-27T17:46:17Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Super Neurons [18.710336981941147]
  非線形学習ユニットを用いたニューラルネットワークモデルとして,自己組織型オペレーショナルニューラルネットワーク(Self-ONN)が提案されている。 Self-ONNには、ローカライズされた(固定された)カーネル操作という共通の欠点がある。 本稿では、ランダムまたは学習可能なカーネルシフトを可能にする優れた(生成的な)ニューロンモデルを示す。
  論文  参考訳（メタデータ） (2021-08-03T16:17:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Deep Randomized Neural Networks [12.333836441649343]
  ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。 本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
  論文  参考訳（メタデータ） (2020-02-27T17:57:58Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。