論文の概要: Input Compression with Positional Consistency for Efficient Training and
Inference of Transformer Neural Networks
- arxiv url: http://arxiv.org/abs/2312.12385v1
- Date: Wed, 22 Nov 2023 16:03:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 13:28:49.689785
- Title: Input Compression with Positional Consistency for Efficient Training and
Inference of Transformer Neural Networks
- Title(参考訳): 変圧器ニューラルネットワークの効率的なトレーニングと推論のための位置整合性を備えた入力圧縮
- Authors: Amrit Nagarajan and Anand Raghunathan
- Abstract要約: 本稿では,新しいデータ拡張手法である位置整合性を用いた入力圧縮(I CPC)を提案する。
I CPCは、各エポックにおける各トレーニングサンプルに様々なレベルの圧縮を適用します。
I CPCは精度を最大1%向上させ、トレーニングと推論を最大2.9Xと2.6Xに加速させる。
- 参考スコア(独自算出の注目度): 6.081669597975186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have rapidly increased in popularity in recent years, achieving
state-of-the-art performance in processing text, images, audio and video.
However, Transformers present large computational requirements for both
training and inference, and are prone to overfitting during training. To
address these challenges, we present Input Compression with Positional
Consistency (ICPC), a new data augmentation method that, unlike prior
augmentation techniques, simultaneously improves both generalization and
training efficiency. ICPC applies varying levels of compression to each
training sample in each epoch. This leads to smaller input sequences being
processed by the Transformer, and hence faster training, while also alleviating
overfitting by presenting each input with different compression levels. We
introduce a consistency-aware position selection method in ICPC that enables
accurate processing of compressed inputs without any changes to the underlying
Transformer architecture. We detail compression-based augmentation methods for
four different modalities -- insignificant word pruning for text, resolution
modulation for images, spatio-temporal resolution modulation for videos, and
spectogram size modulation for audio. ICPC also enables efficient
variable-effort inference, where samples are first inferred at high compression
levels, and progressively re-evaluated with lower compression for more
challenging inputs. On 9 diverse tasks spanning 4 different modalities, ICPC
improves accuracy by up to 1%, while also accelerating training and inference
by up to 2.9X and 2.6X, respectively. Code is available at
https://github.com/amrnag/ICPC.
- Abstract(参考訳): 近年、トランスフォーマーは急速に普及し、テキスト、画像、オーディオ、ビデオの処理において最先端のパフォーマンスを達成した。
しかし、トランスフォーマーはトレーニングと推論の両方において大きな計算要件を示しており、トレーニング中にオーバーフィットしがちである。
これらの課題に対処するため、従来の拡張手法とは異なり、一般化とトレーニング効率の両方を同時に改善する新しいデータ拡張手法であるICPC(Input Compression with Positional Consistency)を提案する。
icpcは、各エポックのトレーニングサンプルに、さまざまなレベルの圧縮を適用する。
これにより、Transformerによって処理される入力シーケンスが小さくなり、トレーニングが高速化されると同時に、各入力を異なる圧縮レベルにすることでオーバーフィッティングが軽減される。
ICPC に整合性を考慮した位置選択手法を導入し,基礎となる Transformer アーキテクチャを変更することなく,圧縮入力の正確な処理を可能にする。
本稿では,4つのモーダルの圧縮に基づく拡張手法について詳述する。テキストの単語プルーニング,画像の解像度変調,ビデオの時空間分解能変調,音声のスペクトルサイズ変調である。
icpcはまた、サンプルがまず高い圧縮レベルで推論され、より困難な入力のためにより低い圧縮で徐々に再評価される効率的な可変エフォート推論を可能にする。
4つの異なるモードにまたがる9つのタスクにおいて、ICPCは最大1%の精度向上を実現し、トレーニングと推論を最大2.9Xと2.6Xに加速する。
コードはhttps://github.com/amrnag/icpc。
関連論文リスト
- A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - From Coarse to Fine: Efficient Training for Audio Spectrogram
Transformers [16.90294414874585]
粗粒化モデルと変圧器モデルとの結合による音声スペクトログラム変換器の多相学習を提案する。
これらの手法の1つを利用することで、トランスフォーマーモデルは初期段階の低解像度(粗い)データから学習し、その後、カリキュラム学習戦略において高解像度のデータで微調整される。
論文 参考訳(メタデータ) (2024-01-16T14:59:37Z) - Progressive Learning with Visual Prompt Tuning for Variable-Rate Image
Compression [60.689646881479064]
本稿では,変圧器を用いた可変レート画像圧縮のためのプログレッシブラーニングパラダイムを提案する。
視覚的プロンプトチューニングにインスパイアされた私たちは,エンコーダ側とデコーダ側でそれぞれ入力画像と隠蔽特徴のプロンプトを抽出するためにLPMを使用する。
提案モデルでは, 速度歪み特性の観点から現行の可変画像法よりも優れ, スクラッチから訓練した最先端の固定画像圧縮法にアプローチする。
論文 参考訳(メタデータ) (2023-11-23T08:29:32Z) - GraVAC: Adaptive Compression for Communication-Efficient Distributed DL
Training [0.0]
分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。
GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。
静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
論文 参考訳(メタデータ) (2023-05-20T14:25:17Z) - Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral
Compressive Imaging [142.11622043078867]
圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。
HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
論文 参考訳(メタデータ) (2022-05-20T11:37:44Z) - High-Efficiency Lossy Image Coding Through Adaptive Neighborhood
Information Aggregation [37.02522504535854]
圧縮性能とスループットの両方に優れた効率のロスシー画像符号化(lic)は難しい。
提案手法は,コダック,CLIC,Tecnickの各データセットの平均値に対して,$approx$15%のBDレート改善を施したVVCイントラよりも優れた圧縮性能を報告した。
論文 参考訳(メタデータ) (2022-04-25T05:40:57Z) - Towards End-to-End Image Compression and Analysis with Transformers [99.50111380056043]
本稿では,クラウドベースの画像分類アプリケーションを対象として,トランスフォーマーを用いたエンドツーエンドの画像圧縮解析モデルを提案する。
我々は、圧縮された特徴から画像分類を行うためにビジョントランスフォーマー(ViT)モデルを再設計し、トランスフォーマーからの長期情報を用いて画像圧縮を容易にすることを目指している。
画像圧縮と分類作業の両方において,提案モデルの有効性を示す実験結果が得られた。
論文 参考訳(メタデータ) (2021-12-17T03:28:14Z) - FQ-ViT: Fully Quantized Vision Transformer without Retraining [13.82845665713633]
本稿では,量子変換器の性能劣化と推論の複雑さを低減するための系統的手法を提案する。
完全に量子化された視覚変換器上で、我々は初めて精度の劣化(1%)を達成した。
論文 参考訳(メタデータ) (2021-11-27T06:20:53Z) - Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective
with Transformers [149.78470371525754]
セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。
具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。
トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。
SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
論文 参考訳(メタデータ) (2020-12-31T18:55:57Z) - Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。
実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
論文 参考訳(メタデータ) (2020-10-28T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。