Fugu-MT 論文翻訳(概要): Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures

論文の概要: Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures

arxiv url: http://arxiv.org/abs/2110.15225v1
Date: Thu, 28 Oct 2021 15:39:11 GMT
ステータス: 処理完了
システム内更新日: 2021-10-29 14:22:37.170534
Title: Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
Title（参考訳）: A*探索を用いた変圧器モデルのプルーニングアテンションヘッド:大きなNLPアーキテクチャを圧縮するための新しいアプローチ
Authors: Archit Parnami, Rahul Singh, Tarun Joshi
Abstract要約: 冗長なアテンションヘッドを排除してトランスモデルを圧縮するための新しいプルーニングアルゴリズムを提案する。以上の結果から,BERT変圧器モデルにおける注目ヘッドの最大40%を精度を損なうことなく除去できることが示唆された。
参考スコア（独自算出の注目度）: 2.8768884210003605
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent years have seen a growing adoption of Transformer models such as BERT in Natural Language Processing and even in Computer Vision. However, due to the size, there has been limited adoption of such models within resource-constrained computing environments This paper proposes novel pruning algorithms to compress transformer models by eliminating redundant Attention Heads. We apply the A* search algorithm to obtain a pruned model with minimal accuracy guarantees. Our results indicate that the method could eliminate as much as 40% of the attention heads in the BERT transformer model with almost no loss in accuracy.
Abstract（参考訳）: 近年、自然言語処理やコンピュータビジョンにおいてもbertのようなトランスフォーマーモデルが採用されている。しかし,資源制約のある計算環境において,そのようなモデルの採用が限られているため,冗長なアテンションヘッドを排除してトランスフォーマーモデルを圧縮するための新しいプルーニングアルゴリズムを提案する。我々は,A*探索アルゴリズムを適用し,最小限の精度保証付きプルーンドモデルを得る。以上の結果から,BERT変圧器モデルにおける注目ヘッドの最大40%を精度を損なうことなく除去できる可能性が示唆された。

関連論文リスト

Making the Most of your Model: Methods for Finetuning and Applying Pretrained Transformers [0.21756081703276003]
この論文は、この目標を前進させるモデルの方法と分析を提供する。使用するモデルに新たな機能を追加する2つの新しいファインタニング手法を導入する。モデルライクリフと出力品質のばらつきに関する理論的および実証的な知見を提供する。
論文参考訳（メタデータ） (2024-08-29T03:50:24Z)
Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文参考訳（メタデータ） (2024-08-23T01:53:36Z)
Research on Personalized Compression Algorithm for Pre-trained Models Based on Homomorphic Entropy Increase [2.6513322539118582]
我々は、現在のAI分野における2つの重要な技術の課題と進化を探求する:ビジョントランスフォーマーモデルと大規模言語モデル(LLM)。 Vision Transformerは、イメージを小さな断片に分割することで、グローバルな情報をキャプチャするが、その高い参照数とモバイル機器へのオーバヘッド制限の配置を計算する。 LLMは自然言語処理に革命をもたらしたが、デプロイメントの課題にも直面している。
論文参考訳（メタデータ） (2024-08-16T11:56:49Z)
LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition [4.375744277719009]
LORTSARは2つの主要なトランスフォーマーベースモデル、"Hyperformer"と"STEP-CATFormer"に適用される。本手法は, 認識精度の劣化や性能向上などにより, モデルパラメータの数を大幅に削減することができる。これは、SVDと圧縮後の微調整を組み合わせることでモデル効率が向上し、人間の行動認識におけるより持続的で軽量で高性能な技術への道が開けることを確認する。
論文参考訳（メタデータ） (2024-07-19T20:19:41Z)
SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
論文参考訳（メタデータ） (2024-04-04T15:23:14Z)
Adaptive Point Transformer [88.28498667506165]
Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
論文参考訳（メタデータ） (2024-01-26T13:24:45Z)
Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文参考訳（メタデータ） (2023-03-13T17:12:03Z)
T4PdM: a Deep Neural Network based on the Transformer Architecture for Fault Diagnosis of Rotating Machinery [0.0]
本稿では,Transformerアーキテクチャの修正版であるT4PdMに基づいて,自動故障分類器モデルを構築した。 T4PdMは2つのデータセットの総合精度99.98%と98%を達成した。回転する産業機械の故障の検出・分類におけるモデルの有用性を実証した。
論文参考訳（メタデータ） (2022-04-07T20:31:45Z)
Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文参考訳（メタデータ） (2021-04-20T00:09:37Z)
The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
論文参考訳（メタデータ） (2020-05-05T23:32:01Z)
Compressing Large-Scale Transformer-Based Models: A Case Study on BERT [41.04066537294312]
事前訓練されたTransformerベースのモデルは、様々な自然言語処理(NLP)タスクに対して最先端のパフォーマンスを達成した。これらのモデルは数十億のパラメータを持ち、そのため、リソース不足と計算集約が多すぎて、低機能デバイスやアプリケーションに適合しない。これに対する潜在的な対策の1つはモデル圧縮であり、多くの研究が注目されている。
論文参考訳（メタデータ） (2020-02-27T09:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。