Fugu-MT 論文翻訳(概要): Compression Method for Deep Diagonal State Space Model Based on $H^2$ Optimal Reduction

論文の概要: Compression Method for Deep Diagonal State Space Model Based on $H^2$ Optimal Reduction

arxiv url: http://arxiv.org/abs/2507.10078v1
Date: Mon, 14 Jul 2025 09:03:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:24.577084
Title: Compression Method for Deep Diagonal State Space Model Based on $H^2$ Optimal Reduction
Title（参考訳）: H^2$ Optimal Reductionに基づく深対角状態空間モデルの圧縮法
Authors: Hiroki Sakamoto, Kazuhiro Sato,
Abstract要約: 線形SSMを組み込んだディープラーニングモデルは、シーケンシャルデータにおける長距離依存関係のキャプチャに注目されている。大きなパラメータサイズは、リソース制約のあるデバイスへのデプロイに問題を引き起こす。 H2$モデルオーダー削減手法を応用して,これらのモデルに対する効率的なパラメータ削減手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Deep learning models incorporating linear SSMs have gained attention for capturing long-range dependencies in sequential data. However, their large parameter sizes pose challenges for deployment on resource-constrained devices. In this study, we propose an efficient parameter reduction method for these models by applying $H^{2}$ model order reduction techniques from control theory to their linear SSM components. In experiments, the LRA benchmark results show that the model compression based on our proposed method outperforms an existing method using the Balanced Truncation, while successfully reducing the number of parameters in the SSMs to $1/32$ without sacrificing the performance of the original models.
Abstract（参考訳）: 線形SSMを組み込んだディープラーニングモデルは、シーケンシャルデータにおける長距離依存関係のキャプチャに注目されている。しかし、その大きなパラメータサイズは、リソース制約のあるデバイスへのデプロイに問題を引き起こす。本研究では,制御理論から線形SSM成分への$H^{2}$モデルオーダー削減手法を適用し,これらのモデルに対する効率的なパラメータ削減手法を提案する。実験の結果,提案手法に基づくモデル圧縮は,従来の手法よりも優れているが,従来のモデルの性能を犠牲にすることなく,SSMのパラメータ数を1/32$に抑えることができた。

関連論文リスト

Nonlinear Model Order Reduction of Dynamical Systems in Process Engineering: Review and Comparison [50.0791489606211]
我々は、最先端の非線形モデルオーダー削減手法についてレビューする。本稿では,(化学)プロセスシステムのための汎用的手法と適合したアプローチについて論じる。
論文参考訳（メタデータ） (2025-06-15T11:39:12Z)
DAPLSR: Data Augmentation Partial Least Squares Regression Model via Manifold Optimization [6.200365627295667]
本稿では,データ拡張部分最小二乗回帰モデルを提案する。提案したDAPLSRモデルは,各種データセットにおける優れた分類性能と優れた評価指標を実現する。
論文参考訳（メタデータ） (2025-04-23T11:58:28Z)
Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文参考訳（メタデータ） (2025-02-11T13:10:34Z)
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文参考訳（メタデータ） (2024-11-30T10:56:30Z)
Parameter-Efficient Fine-Tuning of State Space Models [10.817729275974829]
Deep State Space Models (SSM) は、言語モデリングの強力なツールとなり、シーケンス長で高いパフォーマンスと線形スケーラビリティを提供する。本稿では,パラメータ効率のよい微調整法(PEFT)のSSMモデルへの適用について検討する。 SSMモジュールに適したPEFT法であるスパース次元チューニング(SDT)を提案する。
論文参考訳（メタデータ） (2024-10-11T17:30:28Z)
Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
論文参考訳（メタデータ） (2024-09-25T16:15:21Z)
Model order reduction of deep structured state-space models: A system-theoretic approach [0.0]
深い構造化状態空間モデルは高い予測性能を提供する。学習された表現は、しばしば非常に大きなモデル順序に悩まされるため、制御設計の目的には適さない。モデルの整合性を改善するためにトレーニング損失に組み込むことのできる2つの正規化項を導入する。提示された正則化器は、同相表現と、縮小順序モデルによるより高速な推論という観点で利点をもたらす。
論文参考訳（メタデータ） (2024-03-21T21:05:59Z)
Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文参考訳（メタデータ） (2024-02-26T05:51:47Z)
Rethinking Compression: Reduced Order Modelling of Latent Features in Large Language Models [9.91972450276408]
本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
論文参考訳（メタデータ） (2023-12-12T07:56:57Z)
An iterative multi-fidelity approach for model order reduction of multi-dimensional input parametric PDE systems [0.0]
多次元入力パラメトリック空間を用いた大規模PDEシステムの縮小のためのサンプリングパラメトリック戦略を提案する。これはパラメトリック空間全体の低忠実度モデルを効率的なサンプリング戦略を用いてサンプリングポイントに利用することで達成される。提案手法は,低忠実度モデルを用いてソリューションデータベースを同化するため,オフライン段階での計算コストを大幅に削減する。
論文参考訳（メタデータ） (2023-01-23T15:25:58Z)
A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
論文参考訳（メタデータ） (2022-08-23T12:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。