Fugu-MT 論文翻訳(概要): Functional Degeneracy in Neural Networks: Measurement and Pruning

論文の概要: Functional Degeneracy in Neural Networks: Measurement and Pruning

arxiv url: http://arxiv.org/abs/2608.30741v1
Date: Mon, 31 Aug 2026 13:09:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.400392
Title: Functional Degeneracy in Neural Networks: Measurement and Pruning
Title（参考訳）: ニューラルネットワークの機能デジェネシー:計測と解析
Abstract要約: 我々は行動回復ランクを通して機能的縮退を定量化する。タスクが飽和した後でも、構造的および刈り上げのマグニチュードがより多くの自由度を維持していることがわかった。
参考スコア（独自算出の注目度）: 13.581367638143758
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A central question in modern machine learning is how much a trained model can be compressed without changing its behavior, to reduce the memory, compute and energy required to deploy it. To study this, we quantify functional degeneracy through the behavioral recovery rank, defined as the number of leading behavioral-Hessian eigendirections required to recover a trained model's performance. Using the behavioral recovery rank as a geometric benchmark for compression, we find that structural and magnitude pruning retain more degrees of freedom, even after the task is saturated. This gap suggests that functional redundancy is distributed across parameter directions and is not exposed by individual weights or neurons.
Abstract（参考訳）: 現代の機械学習における中心的な疑問は、トレーニングされたモデルをその振る舞いを変えずにどの程度圧縮できるか、そしてそれをデプロイするために必要なメモリ、計算、エネルギーを減らすことである。そこで本研究では,学習モデルの性能回復に必要な行動-ヘッセン固有方向の先頭値として定義される行動回復ランクを用いて,機能的縮退度を定量化する。圧縮の幾何的ベンチマークとして挙動回復ランクを用いると, 作業が飽和した後でも, 構造的, 等級的プルーニングがより多くの自由度を維持していることが分かる。このギャップは、機能的冗長性がパラメータ方向に分散し、個々の重みやニューロンによって露出されないことを示唆している。

関連論文リスト

Tiny Brains, Giant Impact: Uncovering the Keystone Neurons of LLM with Just a Few Prompts [57.98275914877019]
広い範囲のオープンウェイトトランスフォーマーにおいて、ニューロンのサブセットは、複数の能力次元のタスクをまたいだ推論において、常に高度に活性化されることが示される。クロスタスク活性化強度に沿って探索することにより、非常にスパースなサブセットが分離され、その除去はモデル挙動の崩壊を引き起こす。解析の結果,キーストーンニューロンは,前訓練中にほぼ確立されたモデルの安定で内在的なニューロンサブセットであることが明らかとなった。
論文参考訳（メタデータ） (2026-05-24T03:31:07Z)
Attribution-Based Neuron Utility for Plasticity Restoration in Deep Networks [0.0]
継続的な学習研究は、新しい知識獲得と以前に獲得した知識の保存という2つの基本的な能力を保存しようとする。近年の研究では、ニューロン飽和、ノルム成長、有用な曲率方向の喪失など、この現象の根底にある複数のメカニズムが特定されている。適応的リセットに基づく介入は、訓練性を取り戻すための実践的な解決策として現れてきた。
論文参考訳（メタデータ） (2026-05-07T18:42:22Z)
Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability [23.64717985754014]
本稿では,神経表現の有効自由度を測定する情報理論フレームワークを提案する。我々はシャノンエントロピーをスパースオートエンコーダアクティベーションに適用し、干渉のない符号化に必要な最小限のニューロンとして有効な特徴の数を計算した。提案手法は, 玩具模型における地中真実と強く相関し, アルゴリズム作業における極小重ね合わせを検出し, ドロップアウト下での系統的縮小を明らかにする。
論文参考訳（メタデータ） (2025-12-15T17:25:39Z)
Sparse Autoencoder Neural Operators: Model Recovery in Function Spaces [75.45093712182624]
本研究では,スパースオートエンコーダ(SAE)を昇降空間や無限次元関数空間に拡張し,大規模ニューラル演算子(NO)の機械的解釈性を実現するフレームワークを提案する。我々は、SAE、リフト-SAE、SAEニューラル演算子の推論とトレーニングのダイナミクスを比較した。我々は、リフトと演算子モジュールが有益な帰納バイアスを導入し、より高速なリカバリを可能にし、スムーズな概念のリカバリを改善し、様々な解像度にわたる堅牢な推論を可能にした点を強調した。
論文参考訳（メタデータ） (2025-09-03T21:57:03Z)
Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
論文参考訳（メタデータ） (2025-03-20T12:28:08Z)
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文参考訳（メタデータ） (2021-12-09T07:11:14Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文参考訳（メタデータ） (2020-06-22T15:07:06Z)
Exploiting Non-Linear Redundancy for Neural Model Compression [26.211513643079993]
本稿では,線形依存の活用に基づく新しいモデル圧縮手法を提案する。その結果,ネットワークサイズが最大99%減少し,性能が低下することがわかった。
論文参考訳（メタデータ） (2020-05-28T15:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。