論文の概要: AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models

• arxiv url: http://arxiv.org/abs/2602.00534v1
• Date: Sat, 31 Jan 2026 06:03:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.242294
• Title: AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models
• Title（参考訳）: AIRE-Prune:状態空間モデルにおける状態計画のための漸近的インパルス応答エネルギー
• Authors: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay,
• Abstract要約: AIRE-Pruneは、状態空間モデル(SSM)の訓練後プルーニング手法である 長期出力エネルギー歪みを直接最小化することで、各層の状態次元を小さくする。 様々なベンチマークで、AIRE-Prune は SISO と SSM にかなりの冗長性を示し、平均プルーニングは60.8%、平均精度は0.29%低下するが、再トレーニングは行わない。
• 参考スコア（独自算出の注目度）: 51.93574339176914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State space models (SSMs) often sacrifice capacity, search space, or stability to offset the memory and compute costs of large state dimensions. We introduce a structured post-training pruning method for SSMs -- AIRE-Prune (Asymptotic Impulse-Response Energy for State PRUN(E)) -- that reduces each layer's state dimension by directly minimizing long-run output-energy distortion. AIRE-Prune assigns every state a closed-form asymptotic impulse-response energy-based score, i.e., the total impulse-response energy it contributes over an infinite horizon (time), and normalizes these scores layer-wise to enable global cross-layer comparison and selection. This extends modal truncation from single systems to deep stacks and aligns pruning with asymptotic response energy rather than worst-case gain. Across diverse sequence benchmarks, AIRE-Prune reveals substantial redundancy in SISO and MIMO SSMs with average pruning of 60.8%, with average accuracy drop of 0.29% without retraining, while significantly lowering compute. Code: https://github.com/falcon-arrow/AIRE-Prune.
• Abstract（参考訳）: 状態空間モデル(SSM)は、大きな状態次元のメモリと計算コストを相殺するために、キャパシティ、検索スペース、安定性を犠牲にすることが多い。 本研究では, 長時間の出力-エネルギー歪みを直接最小化することにより, 各層の状態寸法を小さくする, SSM の構造化後プルーニング手法である AIRE-Prune (Asymptotic Impulse-Response Energy for State PRUN(E)) を導入する。 AIRE-Pruneは、すべての状態に閉形式の漸近的インパルス応答エネルギーベースのスコア、すなわち無限の地平線(時間)に寄与する総インパルス応答エネルギーを割り当て、これらのスコアを階層的に正規化し、グローバルな層間比較と選択を可能にする。 これにより、単一系から深いスタックへのモーダル・トランケーションが拡張され、最悪の場合のゲインよりも漸近的な応答エネルギーでプルーニングが整列する。 様々なシーケンスのベンチマークで、AIRE-Prune は SISO と MIMO SSM にかなりの冗長性を示し、平均プルーニングは60.8%、平均精度は0.29%低下し、再トレーニングは行わないが、計算は大幅に低下する。 コード:https://github.com/falcon-arrow/AIRE-Prune.com

関連論文リスト

• A Unified Framework for EEG Seizure Detection Using Universum-Integrated Generalized Eigenvalues Proximal Support Vector Machine [5.725795684434675]
  本稿では,脳波信号分類のための新しいUniversum-enhanced分類器を提案する。 提案したモデルは、非定常性、低信号-雑音比、ラベル付きデータといった脳波解析における重要な課題に対処する。 モデルは2つのバイナリ分類タスクにまたがってボン大学脳波データセットで評価される。
  論文  参考訳（メタデータ） (2025-12-24T13:39:11Z)
• Kernel-Adaptive PI-ELMs for Forward and Inverse Problems in PDEs with Sharp Gradients [0.0]
  本稿では,KAPI-ELM(Kernel Adaptive Physics-Informed Extreme Learning Machine)を紹介する。 局所的急勾配を含む前方および逆部分微分方程式(PDE)の問題を解くように設計されている。 KAPI-ELMは、フォワード設定と逆設定の両方で最先端の精度を達成する。
  論文  参考訳（メタデータ） (2025-07-14T13:03:53Z)
• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• Layer-Adaptive State Pruning for Deep State Space Models [1.5749416770494706]
  SSMのための構造化プルーニング法、Layer-Adaptive STate pruning (LAST) を提供する。 最後のスコアはサブシステムの$mathcalH_infty$ノルムと層次エネルギー正規化を用いて評価される。 平均的な33%の州は、再学習せずに、0.52%の精度で性能を保ち、マルチインプットのマルチアウトプットSSMでは精度が低下することを示した。
  論文  参考訳（メタデータ） (2024-11-05T05:50:51Z)
• Entanglement Distribution Delay Optimization in Quantum Networks with Distillation [51.53291671169632]
  量子ネットワーク(QN)は、分散量子コンピューティングとセンシングアプリケーションを実現するために絡み合った状態を分散する。 QSリソース割り当てフレームワークは、エンド・ツー・エンド(e2e)の忠実度を高め、最小レートと忠実度を満たすために提案される。
  論文  参考訳（メタデータ） (2024-05-15T02:04:22Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。