論文の概要: Pruning Increases Orderedness in Recurrent Computation
- arxiv url: http://arxiv.org/abs/2507.14747v1
- Date: Sat, 19 Jul 2025 20:44:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.033688
- Title: Pruning Increases Orderedness in Recurrent Computation
- Title（参考訳）: 繰り返し計算におけるプルーニングの順序性向上
- Authors: Yiding Song,
- Abstract要約: 人工ニューラルネットワークにおいて、指向性が帰納バイアスに有効である程度について検討する。
ニューロン間のトポロジ的に順序付けられた情報フローとして方向性をとることで、全接続のパーセプトロン層を定式化する。
我々は,適切な刈り取り技術を適用することで,方向付けをハードワイヤではなく誘導できることを実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Inspired by the prevalence of recurrent circuits in biological brains, we investigate the degree to which directionality is a helpful inductive bias for artificial neural networks. Taking directionality as topologically-ordered information flow between neurons, we formalise a perceptron layer with all-to-all connections (mathematically equivalent to a weight-tied recurrent neural network) and demonstrate that directionality, a hallmark of modern feed-forward networks, can be induced rather than hard-wired by applying appropriate pruning techniques. Across different random seeds our pruning schemes successfully induce greater topological ordering in information flow between neurons without compromising performance, suggesting that directionality is not a prerequisite for learning, but may be an advantageous inductive bias discoverable by gradient descent and sparsification.
- Abstract（参考訳）: 生体脳におけるリカレント回路の出現率に着想を得て, 指向性が人工ニューラルネットワークの帰納バイアスにどの程度役立つかを検討した。
ニューロン間のトポロジ的に順序付けられた情報フローとして、全接続(数学的には重み付けされたリカレントニューラルネットワークと等価)でパーセプトロン層を定式化し、適切なプルーニング技術を適用することで、現代のフィードフォワードネットワークの目印である方向性を誘導できることを示す。
異なる無作為な種種間での刈り取り方式は、性能を損なうことなく、ニューロン間の情報の流れのトポロジカルな順序付けに成功し、指向性は学習の前提条件ではなく、勾配降下とスパリフィケーションによって発見できる有利な帰納的バイアスである可能性が示唆された。
関連論文リスト
- Evolution imposes an inductive bias that alters and accelerates learning dynamics [49.1574468325115]
進化的最適化がニューラルネットワークの学習力学に与える影響について検討する。
我々は,アルゴリズムの自然選択とオンライン学習を組み合わせて,ニューラルネットワークの進化的条件付け手法を開発した。
結果は、進化はニューラルネットワークをチューニングして迅速な学習を可能にする誘導バイアスを構成することを示唆している。
論文 参考訳（メタデータ） (2025-05-15T18:50:57Z) - Correlations Are Ruining Your Gradient Descent [1.2432046687586285]
自然勾配降下は、最も急勾配の方向を示す勾配ベクトルが、損失景観の局所曲率を考慮することにより、どのように改善されるかを照らしている。
ニューラルネットワークの各層におけるノード応答を含む,任意の線形変換におけるデータの相関が,モデルパラメータ間の非正規的関係を生じさせることを示す。
本稿では,ノード出力のデコレーションと白化のために提案された手法について述べるとともに,これを拡張し,分散コンピューティングや計算神経科学に特に有用な新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-15T14:59:43Z) - Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks [5.271584191900265]
脳内の情報処理を研究するには、スパイクニューラルネットワークのトレーニングが不可欠である。
スパイクのバイナリの性質は、直接勾配に基づくトレーニングの課題となっている。
ここでは、代理勾配と理論的に確立された2つのアプローチとの関係について検討する。
論文 参考訳（メタデータ） (2024-04-23T12:20:09Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。
我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
論文 参考訳（メタデータ） (2023-07-05T13:39:02Z) - Correlative Information Maximization: A Biologically Plausible Approach
to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。
このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。
提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
論文 参考訳（メタデータ） (2023-06-07T22:14:33Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。