論文の概要: Shared-Weights Extender and Gradient Voting for Neural Network Expansion

• arxiv url: http://arxiv.org/abs/2509.18842v1
• Date: Tue, 23 Sep 2025 09:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.799003
• Title: Shared-Weights Extender and Gradient Voting for Neural Network Expansion
• Title（参考訳）: ニューラルネットワーク拡張のための共有重み拡張とグラディエント投票
• Authors: Nikolas Chatzis, Ioannis Kordonis, Manos Theodosis, Petros Maragos,
• Abstract要約: トレーニング中にニューラルネットワークを拡張することは、スクラッチから大きなモデルをトレーニングすることなく、キャパシティを拡張するための有望な方法だ。 新たに追加されたニューロンは、しばしば訓練されたネットワークに適応せず、不活性になり、容量増加に寄与しない。 本研究では,既存のニューロンと結合してスムーズな統合を行うことにより,新しいニューロンの不活性を防止するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 15.3744306569115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expanding neural networks during training is a promising way to augment capacity without retraining larger models from scratch. However, newly added neurons often fail to adjust to a trained network and become inactive, providing no contribution to capacity growth. We propose the Shared-Weights Extender (SWE), a novel method explicitly designed to prevent inactivity of new neurons by coupling them with existing ones for smooth integration. In parallel, we introduce the Steepest Voting Distributor (SVoD), a gradient-based method for allocating neurons across layers during deep network expansion. Our extensive benchmarking on four datasets shows that our method can effectively suppress neuron inactivity and achieve better performance compared to other expanding methods and baselines.
• Abstract（参考訳）: トレーニング中にニューラルネットワークを拡張することは、スクラッチから大きなモデルをトレーニングすることなく、キャパシティを拡張するための有望な方法だ。 しかし、新たに追加されたニューロンは、しばしば訓練されたネットワークに適応せず、不活性になり、容量増加に寄与しない。 本研究では,既存のニューロンと結合してスムーズな統合を行うことにより,新しいニューロンの不活性を防止するために設計された新しい手法である共有重み拡張器(SWE)を提案する。 並列に、ディープネットワーク拡張中に層をまたいでニューロンを割り当てる勾配に基づく方法であるSteepest Voting Distributor (SVoD)を導入する。 4つのデータセットに対する広範囲なベンチマークでは,他の拡張手法やベースラインと比較して,ニューロンの不活性を効果的に抑制し,性能を向上できることが示されている。

関連論文リスト

• NAT: Learning to Attack Neurons for Enhanced Adversarial Transferability [77.1713948526578]
  Neuron Attack for Transferability (NAT) は、特定のニューロンを埋め込む方法である。 我々のアプローチは、以前の階層レベルの最適化がいくつかのニューロンに不均等に焦点をあてることがしばしばあるという観察に動機づけられている。 個々のニューロンを標的にすることで、ニューラルネットワークのコアユニットを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-08-23T08:06:31Z)
• Long-Tailed Data Classification by Increasing and Decreasing Neurons During Training [4.32776344138537]
  実世界のデータセットは、あるクラスが他のクラスよりもはるかに少ないサンプルを持つクラス不均衡の状況を示すことが多い。 本稿では,学習中にニューロンを定期的に追加・除去し,少数クラスの表現力を高める手法を提案する。 この結果から, ネットワーク設計における動的ネットワーク設計の有効性が, クラス不均衡データの性能向上に寄与することが示された。
  論文  参考訳（メタデータ） (2025-07-14T05:29:16Z)
• Channel-wise Parallelizable Spiking Neuron with Multiplication-free Dynamics and Large Temporal Receptive Fields [32.349167886062105]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークにインスパイアされた洗練された神経力学とスパースバイナリアクティベーション(スパイクス)によって、ニューラルネットワーク(ANN)と区別される。 従来のニューロンモデルは反復的なステップバイステップのダイナミクスを使用し、シリアル計算とSNNの遅いトレーニング速度をもたらす。 最近の並列化可能なスパイクニューロンモデルは、SNNの訓練を加速するために、グラフィックス処理ユニットの大規模並列計算能力をフル活用するために提案されている。
  論文  参考訳（メタデータ） (2025-01-24T13:44:08Z)
• EntryPrune: Neural Network Feature Selection using First Impressions [19.217750941193472]
  EntryPruneは、動的スパース入力層を持つ高密度ニューラルネットワークを用いた、新しい教師付き特徴選択アルゴリズムである。 エントリベースのプルーニングは、ネットワークに入ると引き起こされる相対的な変化に基づいてニューロンを比較する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-03T09:56:39Z)
• Growing Deep Neural Network Considering with Similarity between Neurons [4.32776344138537]
  我々は、訓練段階におけるコンパクトモデルにおいて、ニューロン数を漸進的に増加させる新しいアプローチを探求する。 本稿では,ニューロン類似性分布に基づく制約を導入することにより,特徴抽出バイアスと神経冗長性を低減する手法を提案する。 CIFAR-10とCIFAR-100データセットの結果、精度が向上した。
  論文  参考訳（メタデータ） (2024-08-23T11:16:37Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations [11.707981310045742]
  Deep Neural Networks (DNN) のエンドツーエンドトレーニングは、ますます増加するアプリケーションにおいて、技術パフォーマンスの状態を生んでいる。 ここでは、スペーサーとより強力な活性化を伴う摂動に対する有望な神経誘発アプローチについて報告する。
  論文  参考訳（メタデータ） (2022-02-26T06:19:05Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。