論文の概要: Decorrelating neurons using persistence

• arxiv url: http://arxiv.org/abs/2308.04870v1
• Date: Wed, 9 Aug 2023 11:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:00:54.917558
• Title: Decorrelating neurons using persistence
• Title（参考訳）: 持続性を用いた神経細胞のデコレーション
• Authors: Rub\'en Ballester, Carles Casacuberta, Sergio Escalera
• Abstract要約: 2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
• 参考スコア（独自算出の注目度）: 29.25969187808722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel way to improve the generalisation capacity of deep learning models by reducing high correlations between neurons. For this, we present two regularisation terms computed from the weights of a minimum spanning tree of the clique whose vertices are the neurons of a given network (or a sample of those), where weights on edges are correlation dissimilarities. We provide an extensive set of experiments to validate the effectiveness of our terms, showing that they outperform popular ones. Also, we demonstrate that naive minimisation of all correlations between neurons obtains lower accuracies than our regularisation terms, suggesting that redundancies play a significant role in artificial neural networks, as evidenced by some studies in neuroscience for real networks. We include a proof of differentiability of our regularisers, thus developing the first effective topological persistence-based regularisation terms that consider the whole set of neurons and that can be applied to a feedforward architecture in any deep learning task such as classification, data generation, or regression.
• Abstract（参考訳）: 本稿では,ニューロン間の高相関を低減し,ディープラーニングモデルの一般化能力を向上させる新しい手法を提案する。 このために、頂点が与えられたネットワーク(またはそれらのサンプル)のニューロンであるクリッドの最小スパンニングツリーの重みから計算された2つの正規化項を示し、エッジ上の重みは相関の相似性である。 我々は、この用語の有効性を検証するための広範な実験を行い、それらが人気のあるものより優れていることを示す。 また,ニューロン間のすべての相関関係のナイーブな最小化は,我々の正規化項よりも精度が低いことを証明し,実ネットワークのための神経科学研究で示されているように,冗長性が人工ニューラルネットワークにおいて重要な役割を果たすことを示唆する。 これにより、ニューロン全体の集合を考慮し、分類、データ生成、回帰といった深層学習タスクにおいてフィードフォワードアーキテクチャに適用可能な、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。

関連論文リスト

• Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like Training in a Multi-Agent Network Framework [6.446189857311325]
  本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。 本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。 3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
  論文  参考訳（メタデータ） (2023-10-15T21:07:09Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
  我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
  論文  参考訳（メタデータ） (2023-06-10T16:36:22Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
  神経相関は, 重み行列を用いて効率的に推定できることが示唆された。 神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
  論文  参考訳（メタデータ） (2022-01-22T15:01:50Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Online neural connectivity estimation with ensemble stimulation [5.156484100374058]
  スパースネットワークにおけるこのプロセスの効率を大幅に向上させる,ノイズの多いグループテストに基づく手法を提案する。 人口規模に比例して対数的にしか成長しない多数のテストにより、二項化ネットワーク接続を回復可能であることを示す。 また、ネット上の数万のニューロンのネットワークに対して、接続性を推測する可能性も示しています。
  論文  参考訳（メタデータ） (2020-07-27T23:47:03Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons [4.899818550820575]
  我々は2段階の推論戦略を開発し、相互作用するニューロンの堅牢な一般化線形モデルを訓練する。 古典的手法と比較して、この方法で訓練されたモデルは性能が向上していることが示される。 この手法は深部畳み込みニューラルネットワークに拡張することができ、ニューロンの発火速度とその相関の予測精度の高いモデルが得られる。
  論文  参考訳（メタデータ） (2020-06-11T15:09:53Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。