論文の概要: ClipFormer: Key-Value Clipping of Transformers on Memristive Crossbars
for Write Noise Mitigation
- arxiv url: http://arxiv.org/abs/2402.02586v1
- Date: Sun, 4 Feb 2024 19:04:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:05:02.905436
- Title: ClipFormer: Key-Value Clipping of Transformers on Memristive Crossbars
for Write Noise Mitigation
- Title（参考訳）: ClipFormer: 書き込みノイズ軽減のためのmemristive Crossbar上のトランスのキーバリュークリッピング
- Authors: Abhiroop Bhattacharjee, Abhishek Moitra, and Priyadarshini Panda
- Abstract要約: 非揮発性メモリ(NVM)に基づくインメモリコンピューティング(IMC)クロスバーは、トランスフォーマーを高速化するための有望なソリューションとして登場した。
書込みノイズを動的に発生させることにより、事前訓練された視覚変換器(ViT)がクロスバーに対して脆弱であることがわかった。
本稿では,事前学習したViTモデルの非理想的精度を高めるために,新しい旋律的クロスバープラットフォームを提案する。
- 参考スコア（独自算出の注目度）: 6.853523674099236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers have revolutionized various real-world applications from natural
language processing to computer vision. However, traditional von-Neumann
computing paradigm faces memory and bandwidth limitations in accelerating
transformers owing to their massive model sizes. To this end, In-memory
Computing (IMC) crossbars based on Non-volatile Memories (NVMs), due to their
ability to perform highly parallelized Matrix-Vector-Multiplications (MVMs)
with high energy-efficiencies, have emerged as a promising solution for
accelerating transformers. However, analog MVM operations in crossbars
introduce non-idealities, such as stochastic read & write noise, which affect
the inference accuracy of the deployed transformers. Specifically, we find
pre-trained Vision Transformers (ViTs) to be vulnerable on crossbars due to the
impact of write noise on the dynamically-generated Key (K) and Value (V)
matrices in the attention layers, an effect not accounted for in prior studies.
We, thus, propose ClipFormer, a transformation on the K and V matrices during
inference, to boost the non-ideal accuracies of pre-trained ViT models.
ClipFormer requires no additional hardware and training overhead and is
amenable to transformers deployed on any memristive crossbar platform. Our
experiments on Imagenet-1k dataset using pre-trained DeiT-S transformers,
subjected to standard training and variation-aware-training, show >10-40%
higher non-ideal accuracies at the high write noise regime by applying
ClipFormer.
- Abstract（参考訳）: トランスフォーマーは自然言語処理からコンピュータビジョンまで、様々な現実世界のアプリケーションに革命をもたらした。
しかし、従来のvon-neumannコンピューティングパラダイムは、モデルサイズが大きいため、トランスフォーマーを加速する際のメモリと帯域幅の制限に直面している。
この目的のために、非揮発性記憶(NVM)に基づくメモリ内計算(IMC)クロスバーは、高いエネルギー効率で高度に並列化された行列ベクトル乗算(MVM)を実行する能力により、トランスフォーマーを加速するための有望なソリューションとして登場した。
しかし、クロスバーにおけるアナログmvm操作は、確率的読み書きノイズのような非理想性を導入し、配置されたトランスフォーマーの推論精度に影響を及ぼす。
具体的には、予め訓練された視覚トランスフォーマー(vits)は、動的に生成されたキー(k)および注意層(v)行列に対する書き込みノイズの影響により、クロスバーに対して脆弱であることがわかった。
そこで我々は,事前学習したVTモデルの非理想的精度を高めるために,KおよびV行列上の変換であるClipFormerを提案する。
clipformerは追加のハードウェアやトレーニングのオーバーヘッドを必要とせず、任意のmemristive crossbarプラットフォームにデプロイされたトランスフォーマーに適応できる。
プリトレーニングされたdeit-s変換器を用いたimagenet-1kデータセットの実験では,クリップフォーマを適用することで,高い書き込み雑音下で10～40%以上の非理想性が得られた。
関連論文リスト
- MABViT -- Modified Attention Block Enhances Vision Transformers [0.0]
本稿では,この問題に対処するために,注目ブロック内に非線形性を統合した新しい変圧器変圧器を提案する。
我々は,値テンソル上でのGLUベースのアクティベーション関数を実装し,この新手法はImageNet-1Kデータセット上で現在最先端のS/16変圧器を0.6%上回っている。
論文 参考訳（メタデータ） (2023-12-03T09:00:31Z) - Optimizing ViViT Training: Time and Memory Reduction for Action
Recognition [30.431334125903145]
ビデオトランスによるトレーニング時間とメモリ消費がもたらす課題に対処する。
本手法は,この障壁を低くするように設計されており,トレーニング中に空間変圧器を凍結するという考え方に基づいている。
論文 参考訳（メタデータ） (2023-06-07T23:06:53Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。
我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
論文 参考訳（メタデータ） (2023-04-13T17:57:54Z) - Momentum Transformer: Closing the Performance Gap Between Self-attention
and Its Linearization [31.28396970291575]
効率の良い変圧器は、変圧器の二次的な複雑さを減らすために提案されているが、精度は著しく低下している。
まず、勾配降下ステップとして注目マップの計算における線形注意と残差接続を解釈する。
次に、これらの成分に運動量を導入し、線形メモリと計算複雑性を維持しつつ、線形変圧器の精度を向上させるために運動量を利用するエンファンモーメント変換器を提案する。
論文 参考訳（メタデータ） (2022-08-01T02:37:49Z) - HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。
HiViTはMIMで高い効率と優れたパフォーマンスを享受する。
ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
論文 参考訳（メタデータ） (2022-05-30T09:34:44Z) - VLDeformer: Learning Visual-Semantic Embeddings by Vision-Language
Transformer Decomposing [7.890230091463883]
視覚言語変換器(VL変換器)は、クロスモーダル検索において顕著な精度を示している。
本稿では,単一の画像やテキストに対して,VL変換器を個別エンコーダとして変更するための新しい視覚言語変換器分解(VLDeformer)を提案する。
論文 参考訳（メタデータ） (2021-10-20T09:00:51Z) - Transformer with a Mixture of Gaussian Keys [31.91701434633319]
マルチヘッドアテンションは最先端のトランスフォーマーの背後にある原動力である。
Transformer-MGKは、トランスフォーマーの冗長なヘッドを、各ヘッドにキーの混合で置き換える。
従来のトランスフォーマーと比較して、Transformer-MGKはトレーニングと推論を加速し、パラメータが少なく、計算するFLOPも少ない。
論文 参考訳（メタデータ） (2021-10-16T23:43:24Z) - Vision Transformer with Progressive Sampling [73.60630716500154]
本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。
ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-08-03T18:04:31Z) - Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。
本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。
スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文 参考訳（メタデータ） (2021-06-04T04:04:10Z) - Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。
そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。
提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文 参考訳（メタデータ） (2021-03-30T16:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。