論文の概要: Neural Network Compression by Approximate Differential Equivalence

• arxiv url: http://arxiv.org/abs/2606.01402v1
• Date: Sun, 31 May 2026 19:01:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.68624
• Title: Neural Network Compression by Approximate Differential Equivalence
• Title（参考訳）: 近似微分同値によるニューラルネットワーク圧縮
• Authors: Ravi Dhiman, Andrea Passarella, Mirco Tribastone, Lorenzo Valerio,
• Abstract要約: 重みを独立に除去するのではなく、神経細胞を集約することでモデルを圧縮する手法を提案する。 本手法は,スムーズなODEシステムとして訓練されたネットワークを符号化し,近似フォワード微分等価性と呼ばれるラッピング手法を適用した。 本研究では, 非線形システムから抽出した合成データセットについて, 地下構造と公共回帰のベンチマークを用いて評価した。
• 参考スコア（独自算出の注目度）: 0.9099663022952496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural network compression is commonly achieved by pruning parameters based on local importance scores, e.g., magnitude-based pruning. We propose a complementary approach that compresses models by aggregating neurons with similar functional behavior rather than removing weights independently. Our method encodes a trained network as a polynomial ODE system and applies a lumping method called Approximate Forward Differential Equivalence to identify neurons with approximately matching induced dynamics. A single tolerance parameter, $\varepsilon$, controls the compression level and induces a smooth trade-off between model size and predictive accuracy. We evaluate the method on synthetic datasets derived from nonlinear dynamical systems with known ground-truth behavior and on public regression benchmarks. Across both settings, the proposed approach achieves substantial parameter reduction while preserving accuracy, and consistently compares favorably with magnitude-based pruning and Wanda at similar compression levels. These results suggest that differential equivalence-based aggregation is a principled and effective alternative to conventional weight-centric pruning.
• Abstract（参考訳）: ニューラルネットワーク圧縮は、局所的な重要度スコア、例えば等級に基づくプルーニングに基づいてパラメータをプルーニングすることで一般的に達成される。 重みを独立に除去するのではなく、同様の機能的振る舞いで神経細胞を集約することでモデルを圧縮する補完的アプローチを提案する。 提案手法は, 学習ネットワークを多項式ODE系として符号化し, 近似フォワード微分等価性と呼ばれるラッピング法を適用し, ほぼ一致する誘導力学を持つニューロンを同定する。 単一の許容パラメータである$\varepsilon$は、圧縮レベルを制御し、モデルサイズと予測精度の間のスムーズなトレードオフを誘導する。 本研究では, 非線形力学系から抽出した合成データセットについて, 地下構造と公共回帰のベンチマークを用いて評価した。 両設定において,提案手法は精度を保ちながらパラメータの大幅な削減を実現し,同様の圧縮レベルでの等級ベースプルーニングとワンダとを連続的に比較した。 これらの結果は、微分同値性に基づくアグリゲーションが、従来の重み中心プルーニングの原則的かつ効果的な代替手段であることを示唆している。

関連論文リスト

• Robust Basis Spline Decoupling for the Compression of Transformer Models [1.1470070927586018]
  既存のアプローチを一般化するB-splineベースのデカップリングフレームワークを導入する。 B-スプラインの局所的支持とフレキシブルな滑らかさ制御を利用することで、より安定で表現力のある表現が得られる。
  論文  参考訳（メタデータ） (2026-05-11T06:37:36Z)
• Functional Similarity Metric for Neural Networks: Overcoming Parametric Ambiguity via Activation Region Analysis [0.0]
  ReLUネットワークでは、全く異なる重み設定によって同一の機能写像が達成される。 従来の比較法では、トレーニング中にわずかに体重の摂動が極端に不安定である。 本稿では,ニューラルネットワークの安定な正準表現を構築するための数学的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2026-04-04T17:50:07Z)
• Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• A deep learning driven pseudospectral PCE based FFT homogenization algorithm for complex microstructures [68.8204255655161]
  提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。 提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
  論文  参考訳（メタデータ） (2021-10-26T07:02:14Z)
• Non-intrusive reduced order modeling of poroelasticity of heterogeneous media based on a discontinuous Galerkin approximation [0.0]
  異種多孔質媒体における線形多弾性問題に対する非侵入的モデル還元フレームワークを提案する。 内部ペナルティ不連続ガレルキン法(DG法)を全順序解法として利用し,不連続性を扱う。 我々のフレームワークは、DGソリューションの妥当な近似を提供するが、かなり高速である。
  論文  参考訳（メタデータ） (2021-01-28T04:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。