論文の概要: Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

• arxiv url: http://arxiv.org/abs/2610.02559v1
• Date: Thu, 01 Oct 2026 22:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.114883
• Title: Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
• Title（参考訳）: 逆アクティベーションレグレッションによる神経融合によるシグモイド神経回路の訓練後圧縮
• Abstract要約: 訓練されたニューラルネットワークの圧縮のためのクラスタベースのマージ手法について議論する。 データフリーなコントリビューション重み付け平均化法に加えて,ニューロンマージ法を提案する。 また、実際のトレーニング入力を用いたデータアシスト戦略と、ランダムに生成された入力を用いたデータフリー戦略についても検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As neural networks continue to grow in scale, model compression is becoming increasingly important for efficient inference under limited computational resources. Structured pruning methods remove neurons or channels that are estimated to be less important, but the removed units may still contain useful information. From the viewpoint of coarse-graining a trained network, it is valuable to ask which information should be retained when multiple neuronal degrees of freedom are consolidated. In this paper, we discuss cluster-based merging methods for compression of trained neural networks. In addition to a data-free contribution-weighted averaging method, we propose neuron-merging methods in which neuron responses are mapped back to the pre-activation space via the inverse activation function, and the weights and biases of each representative neuron are estimated using the least-squares method. We also examine both a data-assisted strategy with actual training inputs and a data-free strategy using randomly generated inputs. The comparisons provide empirical evidence, in the tested sigmoid networks, that weight information is particularly useful for clustering whereas activation information is useful for representative-neuron reconstruction in the merging process.
• Abstract（参考訳）: ニューラルネットワークの大規模化が進むにつれ、限られた計算資源の下での効率的な推論において、モデル圧縮がますます重要になっている。 構造化プルーニング法では、ニューロンやチャネルが重要でないと見積もられているが、除去されたユニットには有用な情報が含まれている可能性がある。 トレーニングネットワークの粗粒化の観点からは、複数のニューロン自由度が統合された場合、どの情報を保持すべきかを問うことが重要である。 本稿では,訓練されたニューラルネットワークの圧縮のためのクラスタベースのマージ手法について論じる。 データフリーな寄与重み付き平均化法に加えて、逆活性化関数を介してニューロン応答を前活性化空間にマッピングし、各代表ニューロンの重みとバイアスを最小二乗法を用いて推定するニューロンマージ法を提案する。 また、実際のトレーニング入力を用いたデータアシスト戦略と、ランダムに生成された入力を用いたデータフリー戦略についても検討する。 これらの比較は、テストされたシグモイドネットワークにおいて、重み情報は特にクラスタリングに有用であるが、アクティベーション情報はマージ過程における代表ニューロン再構築に有用である、という実証的な証拠を提供する。

関連論文リスト

• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。