論文の概要: A Deep State-Space Model Compression Method using Upper Bound on Output Error

• arxiv url: http://arxiv.org/abs/2510.14542v1
• Date: Thu, 16 Oct 2025 10:32:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.819674
• Title: A Deep State-Space Model Compression Method using Upper Bound on Output Error
• Title（参考訳）: 出力誤差上界を用いた深部状態空間モデル圧縮法
• Authors: Hiroki Sakamoto, Kazuhiro Sato,
• Abstract要約: 本研究では,LQOシステムを含む深部状態空間モデル(ディープSSM)を内部ブロックとして検討する。 まず、2つの深部SSM間の出力誤差の上限を導出し、その境界が層状LQOシステム間の$h2$-errorノルムで表現可能であることを示す。 次に、$h2$-errorの基準で最適化問題を定式化し、勾配に基づくMOR法を開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study deep state-space models (Deep SSMs) that contain linear-quadratic-output (LQO) systems as internal blocks and present a compression method with a provable output error guarantee. We first derive an upper bound on the output error between two Deep SSMs and show that the bound can be expressed via the $h^2$-error norms between the layerwise LQO systems, thereby providing a theoretical justification for existing model order reduction (MOR)-based compression. Building on this bound, we formulate an optimization problem in terms of the $h^2$-error norm and develop a gradient-based MOR method. On the IMDb task from the Long Range Arena benchmark, we demonstrate that our compression method achieves strong performance. Moreover, unlike prior approaches, we reduce roughly 80% of trainable parameters without retraining, with only a 4-5% performance drop.
• Abstract（参考訳）: 本研究では,線形二乗出力(LQO)システムを含む深部状態空間モデル(Deep SSM)を内部ブロックとして検討し,出力誤差を保証可能な圧縮法を提案する。 まず、2つの深部SSM間の出力誤差の上限を導出し、その境界を層状LQOシステム間の$h^2$-errorノルムで表現できることを示し、既存のモデルオーダーリダクション(MOR)に基づく圧縮の理論的正当性を提供する。 この境界に基づいて、$h^2$-errorノルムで最適化問題を定式化し、勾配に基づくMOR法を開発する。 本研究では,Long Range ArenaベンチマークのIMDbタスクにおいて,圧縮手法が高い性能を実現することを示す。 さらに、従来のアプローチとは異なり、トレーニング可能なパラメータの約80%を再トレーニングせずに削減し、4-5%のパフォーマンス低下しかありません。

関連論文リスト

• Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM [11.762499172999886]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は最先端のパフォーマンスを達成しているが、それらは展開において重要なメモリとコンピューティングの課題を課している。 この課題に対処する新しい低ランク圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T03:07:47Z)
• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• Guided Diffusion Sampling on Function Spaces with Applications to PDEs [111.87523128566781]
  PDEに基づく逆問題における条件付きサンプリングのための一般的なフレームワークを提案する。 これは、関数空間拡散モデルと条件付けのためのプラグアンドプレイガイダンスによって達成される。 提案手法は,最先端の固定解像度拡散ベースラインに対して平均32%の精度向上を実現する。
  論文  参考訳（メタデータ） (2025-05-22T17:58:12Z)
• A General Error-Theoretical Analysis Framework for Constructing Compression Strategies [3.1316260533944007]
  本稿では,各層に対して最適な圧縮レベルを決定するための圧縮誤差理論(CET)フレームワークを提案する。 具体的には、ResNet-34モデルでは、CETはオリジナルのモデルに匹敵する性能を保ちながら、パラメータ圧縮の約11$times$を達成する。
  論文  参考訳（メタデータ） (2025-02-19T06:12:43Z)
• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
  マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。 スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T07:38:43Z)
• Intermediate Layer Optimization for Inverse Problems using Deep Generative Models [86.29330440222199]
  ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。 提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T06:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。