論文の概要: How Does Parameter Pruning Reshape DNN Representations? An Interaction-Driven Exploration

• arxiv url: http://arxiv.org/abs/2609.06483v1
• Date: Sun, 06 Sep 2026 08:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.256038
• Title: How Does Parameter Pruning Reshape DNN Representations? An Interaction-Driven Exploration
• Title（参考訳）: パラメータ・プルーニング・リフォームDNNの表現法 : インタラクション駆動探索
• Abstract要約: 本研究では,異なるパラメータを抽出した場合のディープニューラルネットワーク(DNN)の性能劣化を規定する内部要因の理解に焦点を当てた。 特定のパラメータをプルーニングすると性能が著しく低下するが、他のパラメータをプルーニングすることができない理由を説明するために、DNNによって符号化された相互作用パターンがプルーニング操作がどう影響するかを検討する。
• 参考スコア（独自算出の注目度）: 23.538451600822967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study focuses on the scientific problem of understanding internal factors that govern the diverse performance degradation of deep neural networks (DNNs) when different parameters are pruned. In order to explain why pruning certain parameters leads to significant performance degradation but pruning other parameters does not, we examine how the pruning operation affects the interaction patterns encoded by the DNN. We find that when we progressively increase the pruning ratio, the interaction patterns encoded by DNNs exhibit a distinct three-phase dynamics, \emph{i.e.}, model performance is not largely affected until the pruning operation begins to remove low-order interactions, and low-order interactions exhibit strong generalizability. Moreover, we find that the high sensitivity of DNN performance to the pruning of certain modules is attributed to whether the pruning operation removes generalizable low-order interaction patterns.
• Abstract（参考訳）: 本研究では,ディープニューラルネットワーク(DNN)の様々な性能劣化を制御している内部要因を理解する科学的問題に焦点をあてる。 特定のパラメータをプルーニングすると性能が著しく低下するが、他のパラメータをプルーニングすることができない理由を説明するために、DNNによって符号化された相互作用パターンがプルーニング操作がどう影響するかを検討する。 DNNによって符号化された相互作用パターンは, 段階的にプルーニング比を増大させると, 異なる3相ダイナミクス, \emph{i.e.} を示し, プルーニング操作が低次相互作用を除去し始めるまでモデル性能に大きな影響を与えず, 低次相互作用は強い一般化性を示すことがわかった。 さらに, あるモジュールのプルーニングに対するDNN性能の高感度化は, プルーニング操作が一般化可能な低次相互作用パターンを除去するかどうかに起因していることがわかった。

関連論文リスト

• Randomness of Low-Layer Parameters Determines Confusing Samples in Terms of Interaction Representations of a DNN [67.80700786901016]
  ディープニューラルネットワーク(DNN)によって符号化された相互作用の複雑さは、その一般化能力を説明することができる。 また,非一般化可能な相互作用によって表現されるDNNの紛らわしいサンプルは,その低層パラメータによって決定されることがわかった。
  論文  参考訳（メタデータ） (2025-02-12T18:25:13Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• From Tempered to Benign Overfitting in ReLU Neural Networks [41.271773069796126]
  過自明なニューラルネットワーク(NN)は、ノイズの多いデータに完全に適合するように訓練された場合でも、適切に一般化することが観察される。 最近、NNの振舞いは「抑止過剰」と表現されることが多いと推測され、実証的に観察された。
  論文  参考訳（メタデータ） (2023-05-24T13:36:06Z)
• Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning [0.1529342790344802]
  いくつかの不規則なプルーニングスキームと8ビット量子化法により生成されたモデルの対角的ロバスト性について検討する。 このプルーニング法により,非圧縮モデルからの攻撃に対して耐性のあるモデルが得られることが判明した。
  論文  参考訳（メタデータ） (2022-06-15T09:13:35Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
  p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。 本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
  論文  参考訳（メタデータ） (2021-02-19T17:22:16Z)
• Interpreting Deep Neural Networks with Relative Sectional Propagation by Analyzing Comparative Gradients and Hostile Activations [37.11665902583138]
  DNN(Deep Neural Networks)の出力予測を分解するための新しいアトリビューション手法であるRelative Sectional Propagation(RSP)を提案する。 我々は、敵対的因子をターゲットの属性を見つけるのを妨げる要素として定義し、活性化ニューロンの非抑制的な性質を克服するために区別可能な方法でそれを伝播させる。 本手法により,従来の帰属法と比較して,DNNのクラス識別性や活性化ニューロンの詳細な解明により,DNNの予測を分解することができる。
  論文  参考訳（メタデータ） (2020-12-07T03:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。