論文の概要: Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests

• arxiv url: http://arxiv.org/abs/2607.05457v1
• Date: Sun, 05 Jul 2026 22:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.267565
• Title: Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests
• Title（参考訳）: 制御可能性・可観測性試験による深部ニューラルネットワークの実証最小化圧縮
• Abstract要約: 本稿では、ディープニューラルネットワークの実証的状態秩序低減のための可制御性・可観測性フレームワークを提案する。 トレーニングされたネットワークを深さインデクシングされた非線形力学系として見ることにより、データ駆動の到達性、可観測性、バランスの取れたグラミアンを構築する。
• 参考スコア（独自算出の注目度）: 10.32607023406232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks often contain substantial hidden-state redundancy, but most compression methods operate directly on weights, neurons, or quantised representations without explicitly characterising the dynamical role of internal states. This paper proposes a controllability-observability framework for empirical state-order reduction of deep neural networks. By viewing a trained network as a depth-indexed nonlinear dynamical system, we construct data-driven reachability, observability, and balanced Gramians from hidden-state snapshots and output Jacobians. The resulting A/B/C tests estimate layer-wise reachable, observable, and jointly reachable--observable ranks. These ranks are then used not only as diagnostic measures of hidden-state redundancy, but also as actual compressed layer widths for realised reduced networks. Experiments on MNIST and CIFAR-10 compare the proposed balanced realisation against projection-based reduction, unstructured pruning, structured pruning, low-rank SVD, dynamic INT8 quantisation, and linear baselines. On MNIST, a four-layer SiLU DNN is reduced from state order 1024 to 277, giving 72.95% state compression and 73.48% parameter compression, while maintaining 95.45% accuracy compared with 96.60% for the full model. On CIFAR-10, a larger SiLU DNN is reduced from state order 4608 to 1339, giving 70.94% state compression and 83.09% parameter compression, while preserving accuracy from 54.45% to 54.44% and reducing CUDA inference latency by approximately 3X. The results show that balanced reachable-observable ranks provide a principled empirical minimal-realisation criterion for designing compact neural architectures with little or no loss in accuracy.
• Abstract（参考訳）: ディープニューラルネットワークは、しばしば実質的な隠れ状態の冗長性を含んでいるが、ほとんどの圧縮法は、内部状態の動的役割を明示的に特徴づけることなく、重み、ニューロン、あるいは量子化された表現を直接操作する。 本稿では、ディープニューラルネットワークの実証的状態秩序低減のための可制御性・可観測性フレームワークを提案する。 トレーニングされたネットワークを深さインデクシングされた非線形力学系として見ることにより、隠れ状態スナップショットと出力ジャコビアンからデータ駆動の到達性、可観測性、バランスの取れたグラマンを構築する。 その結果、A/B/Cテストは、階層的に到達可能、観測可能、および共同で到達可能、観測可能なランクを推定する。 これらのランクは、隠れ状態の冗長性の診断尺度としてだけでなく、実際の圧縮層幅として使われる。 MNIST と CIFAR-10 の実験では、提案された均衡現実化とプロジェクションに基づく還元、非構造化プルーニング、構造化プルーニング、低ランクSVD、動的INT8量子化、線形ベースラインを比較した。 MNISTでは、4層式SiLU DNNを状態順1024から277に減らし、72.95%の状態圧縮と73.48%のパラメータ圧縮を実現した。 CIFAR-10では、より大きなSiLU DNNが4608から1339に減少し、70.94%の状態圧縮と83.09%のパラメータ圧縮が得られ、精度は54.45%から54.44%に低下し、CUDA推論遅延はおよそ3倍になった。 その結果、バランスのとれた到達可能なランクは、精度をほとんど、あるいは全く損なわずにコンパクトなニューラルネットワークアーキテクチャを設計するための実証的な最小化基準を提供することを示した。

関連論文リスト

• SparseKAN: Compressing Kolmogorov--Arnold Networks Across Basis Functions, Neurons, and Bits [6.860988566886594]
  基本関数,ニューロン/チャネル,数値精度の3つの相補的軸に沿ってkanを圧縮する統一的アプローチである textbfSparseKAN を提案する。 SparseKANは、基本分岐、非線形基底分岐、および個別基底項に、異なるアクティブコストの目的の下で訓練された階層的な学習可能なゲートを装備する。
  論文  参考訳（メタデータ） (2026-08-01T20:42:41Z)
• PRISM: Sensitivity-Aware PolynoMial PRuning for EffIcient Neural Network Encryption [0.0]
  本稿では,Pruned CKKS-en critical Neural Networkの信頼性評価を行う。 PAP(Polynomial-Sensitivity-Aware Pruning)は、本質的に信頼性に配慮した構造化プルーニング法である。
  論文  参考訳（メタデータ） (2026-07-20T05:47:06Z)
• Accelerated Volumetric Compression without Hierarchies: A Fourier Feature Based Implicit Neural Representation Approach [0.0]
  本稿では,Fourierfeatureエンコーディングと選択的ボキセルサンプリングを組み合わせた構造自由なニューラル圧縮手法を提案する。 我々の動的ボクセル選択は、形態的拡張を用いて活動領域を優先順位付けし、階層的なメタデータを使わずに冗長な計算を減らします。
  論文  参考訳（メタデータ） (2025-08-12T13:43:07Z)
• Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
  成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
  論文  参考訳（メタデータ） (2025-05-24T15:52:49Z)
• Edge AI: Evaluation of Model Compression Techniques for Convolutional Neural Networks [0.0]
  本研究は,CIFAR-10データセットを用いた画像分類タスクにおけるConvNeXtモデルの圧縮手法を評価する。 その結果, モデルサイズが有意に減少し, 構造化プルーニング技術により最大75%の削減が達成された。 動的量子化はパラメータ数の最大95%の削減を達成する。
  論文  参考訳（メタデータ） (2024-09-02T11:48:19Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks [6.011954485684313]
  Spiking Neural Networks(SNN)は、従来のディープラーニング方法に代わる有望な選択肢です。 しかし、SNNの大きな欠点は、高い推論遅延である。 本稿では,SNNの空間的および時間的プルーニングを提案する。
  論文  参考訳（メタデータ） (2021-04-26T12:50:58Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。