論文の概要: From Llama to Cria: Scaling Down Neural Networks via Neuron-Level Spectral Structural Importance Evaluation
- arxiv url: http://arxiv.org/abs/2605.18860v1
- Date: Thu, 14 May 2026 10:58:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:08.679049
- Title: From Llama to Cria: Scaling Down Neural Networks via Neuron-Level Spectral Structural Importance Evaluation
- Title（参考訳）: Llama から Cria へ: ニューロンレベルスペクトル構造重要度評価によるニューラルネットワークのスケールダウン
- Authors: Yongyu Wang,
- Abstract要約: 本稿では,ニューロンレベルのスペクトル構造重要度評価に基づくニューロンプルーニングフレームワークを提案する。
ニューロンのプルーニングとグラフ信号処理とスペクトル構造解析を結合することにより、提案フレームワークは、ニューラルネットワークのサイズを減らすための原則化された方法を提供する。
- 参考スコア（独自算出の注目度）: 1.066048003460524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a neuron pruning framework based on neuron-level spectral structural importance evaluation. Given a trained neural network, we record the hidden states of each hidden layer during inference and model neurons as graph nodes, with hidden states treated as graph signals. Using ideas from graph signal processing, we infer layer-wise input and output graphs that characterize the structural relationships among neurons before and after each layer transformation. We then evaluate the spectral structural importance of neurons by analyzing the transformation between these graphs based on spectral graph theory. Neurons with high spectral structural importance are regarded as strongly involved in the internal representation transformation and are therefore preserved, while neurons with low importance scores are selected as pruning candidates. The pruning process is conducted iteratively until a predefined effective parameter reduction target is reached. Instead of fine-tuning after every pruning step, the proposed strategy first removes low-importance neurons to obtain a compact architecture and then applies a final recovery fine-tuning stage to restore task performance. By connecting neuron pruning with graph signal processing and spectral structural analysis, the proposed framework offers a principled way to reduce neural network size while maintaining solution quality. Experimental results on CIFAR-10 image classification and SST-2 sentiment classification show that our method can effectively remove low-importance neurons and achieve compact networks with competitive performance after recovery fine-tuning.
- Abstract（参考訳）: 本稿では,ニューロンレベルのスペクトル構造重要度評価に基づくニューロンプルーニングフレームワークを提案する。
トレーニングされたニューラルネットワークが与えられた場合、推論中に各隠れ層の隠れた状態を記録し、隠れた状態をグラフ信号として扱い、ニューロンをグラフノードとしてモデル化する。
グラフ信号処理のアイデアを用いて、各層変換前後のニューロン間の構造的関係を特徴付ける階層的入力および出力グラフを推論する。
次に、これらのグラフ間の変換をスペクトルグラフ理論に基づいて解析することにより、ニューロンのスペクトル構造の重要性を評価する。
スペクトル構造の重要性が高いニューロンは、内部の表現変換に強く関与していると見なされ、したがって保存されるが、重要度が低いニューロンはプルーニング候補として選択される。
プルーニング処理は、予め定義された有効パラメータ低減目標に到達するまで反復的に行われる。
提案手法は, 刈り取り工程毎に微調整を行う代わりに, 小型アーキテクチャを得るためにまず低重要ニューロンを除去し, タスク性能の回復に最終調整段階を適用した。
ニューロンのプルーニングとグラフ信号処理とスペクトル構造解析を結合することにより、ソリューションの品質を維持しながらニューラルネットワークのサイズを小さくする方法が提案されている。
CIFAR-10画像分類とSST-2感情分類の実験結果から,本手法は高感度ニューロンを効果的に除去し,回復微調整後の競争性能の高いネットワークを実現することができることが示された。
関連論文リスト
- Pixel Embedding Method for Tubular Neurite Segmentation [14.942761606240683]
本稿では,画素レベルの埋め込みベクトルを出力し,対応する損失関数を設計するディープネットワークを提案する。
また、生のニューロン画像をSWCフォーマットのニューロン構造木に直接マッピングするエンド・ツー・エンドパイプラインも開発している。
fMOST画像データセットを用いた実験により, 古典的手法と比較して, 神経トポロジー再構成における誤差率を著しく低下させることが示された。
論文 参考訳（メタデータ） (2025-07-31T09:11:15Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。
最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Graph Neural Operators for Classification of Spatial Transcriptomics
Data [1.408706290287121]
マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。
グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
論文 参考訳（メタデータ） (2023-02-01T18:32:06Z) - PointNeuron: 3D Neuron Reconstruction via Geometry and Topology Learning
of Point Clouds [18.738943602529805]
本稿では3次元ニューロン再構築のための新しい枠組みを提案する。
私たちのキーとなるアイデアは、点雲の幾何学的表現力を使って、ニューロンの固有の構造情報をよりよく探索することです。
論文 参考訳（メタデータ） (2022-10-15T14:11:56Z) - A Local Convergence Theory for Mildly Over-Parameterized Two-Layer
Neural Network [39.341620528427306]
軽度のパラメータ化ニューラルネットワークに対する局所収束理論を考案する。
損失がすでに閾値よりも低い限り、すべての学生ニューロンは教師ニューロンの1つに収束する。
我々の結果は、少なくとも教師のニューロンの数と同じくらいの大きさである限り、任意の数の学生ニューロンに当てはまる。
論文 参考訳（メタデータ） (2021-02-04T04:41:04Z) - Single Neuron Segmentation using Graph-based Global Reasoning with
Auxiliary Skeleton Loss from 3D Optical Microscope Images [30.539098538610013]
局所的出現とグローバルジオメトリ特性を共同で検討し,エンドツーエンドのセグメンテーションネットワークを提案する。
The evaluation results on the Janelia dataset from the BigNeuron project showed that our proposed method is over the other algorithm in performance。
論文 参考訳（メタデータ） (2021-01-22T01:27:14Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。