論文の概要: The silence of the weights: an investigation of structural pruning strategies for attention-based audio signal architectures

• arxiv url: http://arxiv.org/abs/2509.26207v1
• Date: Tue, 30 Sep 2025 13:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.545177
• Title: The silence of the weights: an investigation of structural pruning strategies for attention-based audio signal architectures
• Title（参考訳）: 重みの沈黙:注目型音声信号アーキテクチャにおける構造的プルーニング戦略の検討
• Authors: Andrea Diecidue, Carlo Alberto Barbano, Piero Fraternali, Mathieu Fontaine, Enzo Tartaglione,
• Abstract要約: 本研究では,アテンション機構を明示的に対象とする新しいプルーニング手法を提案する。 注意ブロック内の4つのレイヤ、すなわちクエリ、キー、値、出力のプロジェクション行列を分離する。 その結果,注目パラメータの50%を刈り取ることでも1%未満の性能劣化が生じることがわかった。
• 参考スコア（独自算出の注目度）: 21.334985032433774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have become the state of the art across multiple domains, from natural language processing to machine listening, thanks to attention mechanisms. However, the attention layers require a large number of parameters and high-end hardware for both training and inference. We propose a novel pruning technique targeted explicitly at the attention mechanism, where we decouple the pruning of the four layers in the attention block, namely: query, keys, values and outputs' projection matrices. We also investigate pruning strategies to prune along the head and channel dimensions, and compare the performance of the Audio Spectrogram Transformer (AST) model under different pruning scenarios. Our results show that even by pruning 50\% of the attention parameters we incur in performance degradation of less than 1\%
• Abstract（参考訳）: トランスフォーマーベースのモデルは、自然言語処理からマシンリスニングまで、注目メカニズムのおかげで、複数の領域で最先端のモデルになっている。 しかし、注意層はトレーニングと推論の両方に大量のパラメータとハイエンドハードウェアを必要とする。 本研究では,アテンションブロック内の4層のプルーニング,すなわちクエリ,キー,値,出力のプロジェクション行列を分離する,アテンション機構を明示的に対象とする新しいプルーニング手法を提案する。 また,頭部およびチャネル次元に沿ってプーンするプルーニング戦略について検討し,異なるプルーニングシナリオ下でのAudio Spectrogram Transformer(AST)モデルの性能を比較した。 その結果, 注意パラメータの50 % を刈り取ることでも, 1 % 未満の性能劣化が生じることがわかった。

関連論文リスト

• PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models [14.14413223631804]
  視覚生成において、注意機構の二次的な複雑さは、高いメモリと計算コストをもたらす。 課題を軽減するための注意パターンを*再編成する。 視覚特徴抽出の局所的な集約性に着想を得て,新しい**Pattern-Aware token Re Ordering (PARO)*テクニックを設計する。
  論文  参考訳（メタデータ） (2025-06-19T06:25:02Z)
• LASER: Attention with Exponential Transformation [20.1832156343096]
  注意機構のソフトマックス操作により逆伝播する勾配を解析し、これらの勾配が小さい場合が多いことを観察する。 我々は、より大きな勾配信号を受け入れることを解析的に示すLASERと呼ばれる新しい注意機構を導入する。 既存のアテンション実装に小さな変更を加えることで、LASERのアテンションを実装することができることを示す。
  論文  参考訳（メタデータ） (2024-11-05T20:18:28Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• EchoAtt: Attend, Copy, then Adjust for More Efficient Large Language Models [29.57891007810509]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて優れた性能を示している。 本稿では,レイヤ間の注目パターンの類似性を解析し,活用することにより,トランスフォーマーベースモデルの最適化を目的とした,新しいフレームワークであるEchoAttを紹介する。 TinyLLaMA-1.1Bによる最良の結果は、EchoAttが推論速度を15%改善し、トレーニング速度を25%改善し、パラメータ数を約4%削減し、ゼロショット性能を改善したことを示している。
  論文  参考訳（メタデータ） (2024-09-22T21:08:37Z)
• Visual Transformers for Primates Classification and Covid Detection [8.747840760772268]
  本研究では,注目機構を中心に構築された深層機械学習モデルである視覚変換器を生音声のメル・スペクトログラム表現に適用する。 メルベースのデータ拡張技術とサンプル重み付けを追加すると、ComParE21のPRSとCCSの課題に匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-12-20T09:10:25Z)
• How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers [59.57128476584361]
  本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。 入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。 より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-07T12:37:54Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Single-Layer Vision Transformers for More Accurate Early Exits with Less Overhead [88.17413955380262]
  視覚変換器アーキテクチャに基づく早期退避のための新しいアーキテクチャを提案する。 本手法は分類問題と回帰問題の両方に有効であることを示す。 また,音声視覚データ解析において,早期出口に音声と視覚のモダリティを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-05-19T13:30:34Z)
• Input-independent Attention Weights Are Expressive Enough: A Study of Attention in Self-supervised Audio Transformers [55.40032342541187]
  我々は、自己教師付きアルゴリズムを用いたトランスフォーマーベースモデルを事前訓練し、下流タスクにおける特徴抽出器として扱う。 このアプローチでは、トレーニングと推論の両方において、通常の自己注意と同等のパフォーマンスで20%の時間を要することが示されています。
  論文  参考訳（メタデータ） (2020-06-09T10:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。