論文の概要: From Llama to Cria: Scaling Down Neural Networks via Neuron-Level Spectral Structural Importance Evaluation
- arxiv url: http://arxiv.org/abs/2605.18860v1
- Date: Thu, 14 May 2026 10:58:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:08.679049
- Title: From Llama to Cria: Scaling Down Neural Networks via Neuron-Level Spectral Structural Importance Evaluation
- Title（参考訳）: Llama から Cria へ: ニューロンレベルスペクトル構造重要度評価によるニューラルネットワークのスケールダウン
- Abstract要約: 本稿では,ニューロンレベルのスペクトル構造重要度評価に基づくニューロンプルーニングフレームワークを提案する。
ニューロンのプルーニングとグラフ信号処理とスペクトル構造解析を結合することにより、提案フレームワークは、ニューラルネットワークのサイズを減らすための原則化された方法を提供する。
- 参考スコア（独自算出の注目度）: 1.066048003460524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a neuron pruning framework based on neuron-level spectral structural importance evaluation. Given a trained neural network, we record the hidden states of each hidden layer during inference and model neurons as graph nodes, with hidden states treated as graph signals. Using ideas from graph signal processing, we infer layer-wise input and output graphs that characterize the structural relationships among neurons before and after each layer transformation. We then evaluate the spectral structural importance of neurons by analyzing the transformation between these graphs based on spectral graph theory. Neurons with high spectral structural importance are regarded as strongly involved in the internal representation transformation and are therefore preserved, while neurons with low importance scores are selected as pruning candidates. The pruning process is conducted iteratively until a predefined effective parameter reduction target is reached. Instead of fine-tuning after every pruning step, the proposed strategy first removes low-importance neurons to obtain a compact architecture and then applies a final recovery fine-tuning stage to restore task performance. By connecting neuron pruning with graph signal processing and spectral structural analysis, the proposed framework offers a principled way to reduce neural network size while maintaining solution quality. Experimental results on CIFAR-10 image classification and SST-2 sentiment classification show that our method can effectively remove low-importance neurons and achieve compact networks with competitive performance after recovery fine-tuning.
- Abstract（参考訳）: 本稿では,ニューロンレベルのスペクトル構造重要度評価に基づくニューロンプルーニングフレームワークを提案する。
トレーニングされたニューラルネットワークが与えられた場合、推論中に各隠れ層の隠れた状態を記録し、隠れた状態をグラフ信号として扱い、ニューロンをグラフノードとしてモデル化する。
グラフ信号処理のアイデアを用いて、各層変換前後のニューロン間の構造的関係を特徴付ける階層的入力および出力グラフを推論する。
次に、これらのグラフ間の変換をスペクトルグラフ理論に基づいて解析することにより、ニューロンのスペクトル構造の重要性を評価する。
スペクトル構造の重要性が高いニューロンは、内部の表現変換に強く関与していると見なされ、したがって保存されるが、重要度が低いニューロンはプルーニング候補として選択される。
プルーニング処理は、予め定義された有効パラメータ低減目標に到達するまで反復的に行われる。
提案手法は, 刈り取り工程毎に微調整を行う代わりに, 小型アーキテクチャを得るためにまず低重要ニューロンを除去し, タスク性能の回復に最終調整段階を適用した。
ニューロンのプルーニングとグラフ信号処理とスペクトル構造解析を結合することにより、ソリューションの品質を維持しながらニューラルネットワークのサイズを小さくする方法が提案されている。
CIFAR-10画像分類とSST-2感情分類の実験結果から,本手法は高感度ニューロンを効果的に除去し,回復微調整後の競争性能の高いネットワークを実現することができることが示された。
関連論文リスト
- Sparse Inter-Layer Dependencies of Transformer FFN Neurons [32.00544060412007]
FFNニューロンの活性化は、前回のニューロン活性化と注意出力のスパースセットによって説明できるかどうかを検討する。
本研究では、上流ニューロンの相対的影響と、標的ニューロンの活性化に対する注意出力を推定する学習自由属性法を提案する。
論文 参考訳（メタデータ） (2026-07-13T15:04:50Z) - On De-Individuated Neurons: Continuous Symmetries Enable Dynamic Topologies [0.0]
本稿では、新しい対称性を前提としたプリミティブのクラスである等方的アクティベーション関数を活用することにより、計算のための新しい手法を提案する。
タスク要求に応じて、リアルタイムの神経成長とアーキテクチャの縮小を可能にする。
論文 参考訳（メタデータ） (2026-02-26T12:47:14Z) - Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。
本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。
NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
論文 参考訳（メタデータ） (2025-10-19T14:23:35Z) - Pixel Embedding Method for Tubular Neurite Segmentation [14.942761606240683]
本稿では,画素レベルの埋め込みベクトルを出力し,対応する損失関数を設計するディープネットワークを提案する。
また、生のニューロン画像をSWCフォーマットのニューロン構造木に直接マッピングするエンド・ツー・エンドパイプラインも開発している。
fMOST画像データセットを用いた実験により, 古典的手法と比較して, 神経トポロジー再構成における誤差率を著しく低下させることが示された。
論文 参考訳（メタデータ） (2025-07-31T09:11:15Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。
最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Graph Neural Operators for Classification of Spatial Transcriptomics
Data [1.408706290287121]
マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。
グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
論文 参考訳（メタデータ） (2023-02-01T18:32:06Z) - PointNeuron: 3D Neuron Reconstruction via Geometry and Topology Learning
of Point Clouds [18.738943602529805]
本稿では3次元ニューロン再構築のための新しい枠組みを提案する。
私たちのキーとなるアイデアは、点雲の幾何学的表現力を使って、ニューロンの固有の構造情報をよりよく探索することです。
論文 参考訳（メタデータ） (2022-10-15T14:11:56Z) - A Step Towards Uncovering The Structure of Multistable Neural Networks [1.14219428942199]
本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。
活性化関数は非平滑なヘビサイドステップ関数によって単純化される。
マルチスタビリティがネットワークアーキテクチャ内でどのようにコード化されるのかを導出する。
論文 参考訳（メタデータ） (2022-10-06T22:54:17Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - NeuRegenerate: A Framework for Visualizing Neurodegeneration [10.27276267081559]
被験者内の神経線維形態変化の予測と可視化のための新しいエンドツーエンドフレームワークであるNeuRegenerateを紹介する。
予測予測のために,サイクル一貫性生成対向ネットワーク(cycleGAN)に基づくディープラーニングネットワークであるneuReGANeratorを提案する。
ニューレGANeratorの再建精度は神経構造予測において94%であった。
論文 参考訳（メタデータ） (2022-02-02T16:21:14Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - A Local Convergence Theory for Mildly Over-Parameterized Two-Layer
Neural Network [39.341620528427306]
軽度のパラメータ化ニューラルネットワークに対する局所収束理論を考案する。
損失がすでに閾値よりも低い限り、すべての学生ニューロンは教師ニューロンの1つに収束する。
我々の結果は、少なくとも教師のニューロンの数と同じくらいの大きさである限り、任意の数の学生ニューロンに当てはまる。
論文 参考訳（メタデータ） (2021-02-04T04:41:04Z) - Single Neuron Segmentation using Graph-based Global Reasoning with
Auxiliary Skeleton Loss from 3D Optical Microscope Images [30.539098538610013]
局所的出現とグローバルジオメトリ特性を共同で検討し,エンドツーエンドのセグメンテーションネットワークを提案する。
The evaluation results on the Janelia dataset from the BigNeuron project showed that our proposed method is over the other algorithm in performance。
論文 参考訳（メタデータ） (2021-01-22T01:27:14Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。