論文の概要: Compression Method for Deep Diagonal State Space Model Based on $H^2$ Optimal Reduction
- arxiv url: http://arxiv.org/abs/2507.10078v2
- Date: Wed, 30 Jul 2025 11:57:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 18:23:25.159392
- Title: Compression Method for Deep Diagonal State Space Model Based on $H^2$ Optimal Reduction
- Title（参考訳）: H^2$ Optimal Reductionに基づく深対角状態空間モデルの圧縮法
- Authors: Hiroki Sakamoto, Kazuhiro Sato,
- Abstract要約: 線形SSMを組み込んだディープラーニングモデルは、シーケンシャルデータにおける長距離依存関係のキャプチャに注目されている。
大きなパラメータサイズは、リソース制約のあるデバイスへのデプロイに問題を引き起こす。
H2$モデルオーダー削減手法を応用して,これらのモデルに対する効率的なパラメータ削減手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning models incorporating linear SSMs have gained attention for capturing long-range dependencies in sequential data. However, their large parameter sizes pose challenges for deployment on resource-constrained devices. In this study, we propose an efficient parameter reduction method for these models by applying $H^{2}$ model order reduction techniques from control theory to their linear SSM components. In experiments, the LRA benchmark results show that the model compression based on our proposed method outperforms an existing method using the Balanced Truncation, while successfully reducing the number of parameters in the SSMs to $1/32$ without sacrificing the performance of the original models.
- Abstract（参考訳）: 線形SSMを組み込んだディープラーニングモデルは、シーケンシャルデータにおける長距離依存関係のキャプチャに注目されている。
しかし、その大きなパラメータサイズは、リソース制約のあるデバイスへのデプロイに問題を引き起こす。
本研究では,制御理論から線形SSM成分への$H^{2}$モデルオーダー削減手法を適用し,これらのモデルに対する効率的なパラメータ削減手法を提案する。
実験の結果,提案手法に基づくモデル圧縮は,従来の手法よりも優れているが,従来のモデルの性能を犠牲にすることなく,SSMのパラメータ数を1/32$に抑えることができた。
関連論文リスト
- Nonlinear Model Order Reduction of Dynamical Systems in Process Engineering: Review and Comparison [50.0791489606211]
我々は、最先端の非線形モデルオーダー削減手法についてレビューする。
本稿では,(化学)プロセスシステムのための汎用的手法と適合したアプローチについて論じる。
論文 参考訳（メタデータ） (2025-06-15T11:39:12Z) - Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。
我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - Parameter-Efficient Fine-Tuning of State Space Models [10.817729275974829]
Deep State Space Models (SSM) は、言語モデリングの強力なツールとなり、シーケンス長で高いパフォーマンスと線形スケーラビリティを提供する。
本稿では,パラメータ効率のよい微調整法(PEFT)のSSMモデルへの適用について検討する。
SSMモジュールに適したPEFT法であるスパース次元チューニング(SDT)を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:30:28Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。
本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。
本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。
既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
論文 参考訳（メタデータ） (2024-09-25T16:15:21Z) - Model order reduction of deep structured state-space models: A system-theoretic approach [0.0]
深い構造化状態空間モデルは高い予測性能を提供する。
学習された表現は、しばしば非常に大きなモデル順序に悩まされるため、制御設計の目的には適さない。
モデルの整合性を改善するためにトレーニング損失に組み込むことのできる2つの正規化項を導入する。
提示された正則化器は、同相表現と、縮小順序モデルによるより高速な推論という観点で利点をもたらす。
論文 参考訳（メタデータ） (2024-03-21T21:05:59Z) - Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - An iterative multi-fidelity approach for model order reduction of
multi-dimensional input parametric PDE systems [0.0]
多次元入力パラメトリック空間を用いた大規模PDEシステムの縮小のためのサンプリングパラメトリック戦略を提案する。
これはパラメトリック空間全体の低忠実度モデルを効率的なサンプリング戦略を用いてサンプリングポイントに利用することで達成される。
提案手法は,低忠実度モデルを用いてソリューションデータベースを同化するため,オフライン段階での計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2023-01-23T15:25:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。