論文の概要: Training Neural Networks by Optimizing Neuron Positions

• arxiv url: http://arxiv.org/abs/2506.13410v1
• Date: Mon, 16 Jun 2025 12:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.384873
• Title: Training Neural Networks by Optimizing Neuron Positions
• Title（参考訳）: ニューロンの位置最適化によるニューラルネットワークの訓練
• Authors: Laura Erb, Tommaso Boccato, Alexandru Vasilache, Juergen Becker, Nicola Toschi,
• Abstract要約: ユークリッド空間にニューロンが埋め込まれたパラメータ効率のよいニューラルネットワークを提案する。 トレーニング中、それらの位置は最適化され、シナプス重みは連結ニューロン間の空間距離の反転として決定される。 これらの距離依存配線規則は、伝統的な学習可能な重量行列を置き換え、生物学的にインスパイアされた誘導バイアスを導入しながらパラメータの数を著しく削減する。
• 参考スコア（独自算出の注目度）: 39.682133213072554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The high computational complexity and increasing parameter counts of deep neural networks pose significant challenges for deployment in resource-constrained environments, such as edge devices or real-time systems. To address this, we propose a parameter-efficient neural architecture where neurons are embedded in Euclidean space. During training, their positions are optimized and synaptic weights are determined as the inverse of the spatial distance between connected neurons. These distance-dependent wiring rules replace traditional learnable weight matrices and significantly reduce the number of parameters while introducing a biologically inspired inductive bias: connection strength decreases with spatial distance, reflecting the brain's embedding in three-dimensional space where connections tend to minimize wiring length. We validate this approach for both multi-layer perceptrons and spiking neural networks. Through a series of experiments, we demonstrate that these spatially embedded neural networks achieve a performance competitive with conventional architectures on the MNIST dataset. Additionally, the models maintain performance even at pruning rates exceeding 80% sparsity, outperforming traditional networks with the same number of parameters under similar conditions. Finally, the spatial embedding framework offers an intuitive visualization of the network structure.
• Abstract（参考訳）: ディープニューラルネットワークの高い計算複雑性とパラメータ数の増加は、エッジデバイスやリアルタイムシステムといったリソース制約のある環境に展開する上で大きな課題となる。 そこで本研究では,ニューロンをユークリッド空間に埋め込んだパラメータ効率のよいニューラルアーキテクチャを提案する。 トレーニング中、それらの位置は最適化され、シナプス重みは連結ニューロン間の空間距離の反転として決定される。 これらの距離依存配線規則は、伝統的な学習可能な重量行列を置き換え、生物学的にインスパイアされた誘導バイアスを導入しながらパラメータの数を著しく削減する:接続強度は空間距離とともに減少し、接続が配線長を最小化する3次元空間に脳の埋め込みを反映する。 マルチ層パーセプトロンとスパイクニューラルネットワークの両方に対して,このアプローチを検証した。 実験を通じて,これらの空間埋め込みニューラルネットワークが,MNISTデータセット上の従来のアーキテクチャと競合する性能を実現することを実証した。 さらに、モデルが80%以上のプルーニングレートでも性能を維持し、同様の条件下で同じ数のパラメータを持つ従来のネットワークよりも優れています。 最後に、空間埋め込みフレームワークはネットワーク構造の直感的な可視化を提供する。

関連論文リスト

• SWAT-NN: Simultaneous Weights and Architecture Training for Neural Networks in a Latent Space [6.2241272327831485]
  ニューラルネットワークのアーキテクチャと重みを同時に最適化するフレームワークを提案する。 我々のフレームワークはまず、アーキテクチャ情報とパラメトリック情報の両方を連続的な潜在空間に埋め込む、普遍的なマルチスケールオートエンコーダを訓練する。 データセットが与えられたら、埋め込み空間内の点をランダムに初期化し、勾配降下によって更新して最適なニューラルネットワークを得る。
  論文  参考訳（メタデータ） (2025-06-09T22:22:37Z)
• Lorentzian Residual Neural Networks [15.257990326035694]
  双曲幾何学のローレンツモデルにおいて、重み付けされたローレンツ中心体に基づく新しいローレンツ残留ニューラルネットワークであるLResNetを導入する。 本手法は,階層的表現能力を保ちながら,双曲型ニューラルネットワークにおける残差接続の効率的な統合を可能にする。 ハイパーボリックな埋め込み空間において、より表現力のあるニューラルネットワークを構築するためのLResNetの可能性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T09:56:01Z)
• Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
  本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。 我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。 データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-24T16:16:41Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。