論文の概要: Dynamics as Code: On Model Compression via Dynamic System
- arxiv url: http://arxiv.org/abs/2610.11115v2
- Date: Fri, 09 Oct 2026 04:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.187636
- Title: Dynamics as Code: On Model Compression via Dynamic System
- Title（参考訳）: コードとしてのダイナミクス:動的システムによるモデル圧縮について
- Abstract要約: 本稿では,圧縮をコンパクトな重み表現として再認識する動的システム(DS)パラダイムを提案する。
ダイオファンタイン条件の下では、不合理な巻線における状態の有限軌跡が(d)次元の重み空間上の()-ネットを構成することが証明される。
ResNet-18とQwen2.5-1.5B/Qwen1.5-7Bの実験は、DSベースの圧縮がポストホックリトレーニングなしで競合圧縮比を達成することを確認した。
- 参考スコア（独自算出の注目度）: 9.995358264722894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The escalating size of pretrained neural networks has rendered model compression a prerequisite for deployment under stringent memory and compute constraints. With the irrational winding as an example, earlier work introduced a dynamic system (DS) paradigm that reconceptualizes compression as compact weight representation: high-dimensional parameters are encoded by the index of a trajectory produced by a dynamic system, from which the vector is recovered during decompression. This mechanism is fundamentally distinct from pruning, quantization, knowledge distillation, and low-rank decomposition. Along this direction, we prove that under a Diophantine condition, a finite trajectory of \(M = O(ε^{-(d+ν)})\) states in the irrational winding constitutes an \(ε\)-net over the \(d\)-dimensional weight space, thereby linking state resolution, decompression error, and compression ratio in a predictable manner. Furthermore, we propose a generalized DS-based model compression framework by unifying four DS families---space-filling curves (Hilbert, Peano, Morton/Z-order, Snake), chaotic systems (Lorenz), congruential and pseudo-random generators (LCG, PCG), and low-discrepancy sequences (Halton). Also, we introduce the KD-tree and coordinate-template acceleration to scale to large models as well as outlier identification to control the error. Experiments on ResNet-18 and Qwen2.5-1.5B/Qwen1.5-7B validate that DS-based compression achieves competitive compression ratios without post-hoc retraining, with controllable decompression error and flexible state-space design, establishing it as a principled and practical compression approach.
- Abstract（参考訳）: 事前トレーニングされたニューラルネットワークのエスカレーションサイズは、モデル圧縮をストレントメモリと計算制約下でのデプロイメントの前提条件にしている。
初期の研究は、不合理な巻線を例として、圧縮をコンパクトな重み表現として再認識する動的システム(DS)パラダイムを導入していた。
この機構は、プルーニング、量子化、知識蒸留、低ランク分解と根本的に異なる。
この方向に沿って、不合理な巻線における \(M = O(ε^{-(d+ν)} 状態の有限軌跡が \(d\)-次元重み空間上の \(ε\)-ネットを構成することを証明し、状態分解、圧縮誤差、圧縮比を予測可能な方法でリンクする。
さらに,空間充填曲線 (Hilbert, Peano, Morton/Z-order, Snake) ,カオスシステム (Lorenz) ,コングルーシャルおよび擬似ランダム生成器 (LCG, PCG) ,低離散列 (Halton) の4つのDSファミリーを統合することで,一般化DSベースのモデル圧縮フレームワークを提案する。
また,大規模なモデルにスケールするためにKD木と座標テンプレート加速度を導入し,エラーを制御するために外乱同定を行う。
ResNet-18とQwen2.5-1.5B/Qwen1.5-7Bの実験は、DSベースの圧縮が、制御可能な圧縮誤差とフレキシブルな状態空間設計を伴い、ポストホックリトレーニングなしで競争力のある圧縮比を達成することを検証する。
関連論文リスト
- PACE: Post-Causal Entropy Modeling for Learned LiDAR Point Cloud Compression [43.524231862354405]
LiDARポイントクラウド圧縮は、高解像度センサーから大量のデータを処理するために自律システムにとって不可欠である。
PACEは、祖先のコンテキストアグリゲーションを非因果バックボーンとして再構成し、因果関係を軽量でステージスケーラ可能な予測器に変換する新しいフレームワークである。
実験により、PACEは圧縮効率を新たな最先端に設定し、顕著なBD-BR節約を実現し、自動回帰モードで復号遅延を90%以上削減した。
論文 参考訳（メタデータ） (2026-05-02T08:36:11Z) - D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation [78.32916244416033]
Supervised Fine-Tuning (SFT) はタスク固有の大規模言語モデル (LLM) の開発を加速するが、細調整モデルの増加によってメモリオーバーヘッドが大幅に増大する。
本稿ではDQRELO(Delta Compression via Quantization and Residual Low-Rank)を提案する。
粗い1ビットの量子化を組み合わせ、デルタの支配的な構造を捉える。
論文 参考訳（メタデータ） (2026-04-18T09:52:18Z) - Big2Small: A Unifying Neural Network Framework for Model Compression [14.509737343784913]
我々は,測度理論に基づくモデル圧縮のための統一的な数学的枠組みを構築した。
各モデル圧縮手法は,正規化対象のニューラルネットワークと数学的に等価であることを示す。
本研究では,インプリシトニューラルネットワーク表現(INR)をデータ領域からネットワークパラメータの領域に翻訳する,TextitBig2Smallと呼ばれる,実験的に検証されたデータフリーモデル圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-31T14:09:19Z) - Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。
ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。
MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。
ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文 参考訳（メタデータ） (2026-02-12T02:38:57Z) - HPC: Hierarchical Point-based Latent Representation for Streaming Dynamic Gaussian Splatting Compression [14.759497852655047]
本稿では,新しいストリーミング動的ガウススプラッティング圧縮フレームワークであるHPCを提案する。
これは、非占有空間におけるパラメータ冗長性を避けるために、ガウス単位の階層的な点ベースの潜在表現を用いる。
高い復元率を維持しながら、ベースラインに対して67%のストレージ削減を実現している。
論文 参考訳（メタデータ） (2026-01-31T11:35:02Z) - Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。
線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。
本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:40:58Z) - Hyper-Compression: Model Compression via Hyperfunction [20.47369296713829]
本稿では,モデル圧縮をハイパーファンクションによるパラメータ表現問題に変換する,いわゆるハイパー圧縮を提案する。
これは、既存のプルーニング、量子化、蒸留、分解とは大きく異なるモデル圧縮のための新しいメカニズムを示唆している。
textbfPreferable compression ratio; 2) textbfNo post-hoc retraining; 3) textbfAffordable inference time; and 4) textbfShort compression time。
論文 参考訳（メタデータ） (2024-09-01T02:57:41Z) - MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。
MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。
本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文 参考訳（メタデータ） (2024-08-19T01:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。