論文の概要: ALBERTA: ALgorithm-Based Error Resilience in Transformer Architectures

• arxiv url: http://arxiv.org/abs/2310.03841v2
• Date: Mon, 5 Feb 2024 20:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 03:12:08.753835
• Title: ALBERTA: ALgorithm-Based Error Resilience in Transformer Architectures
• Title（参考訳）: ALBERTA: トランスフォーマーアーキテクチャにおけるalgorithmベースのエラーレジリエンス
• Authors: Haoxuan Liu, Vasu Singh, Michał Filipiuk, Siva Kumar Sastry Hari,
• Abstract要約: ビジョントランスフォーマーは、信頼性の高い安全クリティカルなアプリケーションにますますデプロイされている。 過渡的ハードウェアエラーのような潜在的なエラーにもかかわらず、実行の正確性を保証することが不可欠である。 アルゴリズムベースのレジリエンスフレームワークであるALBERTAを提案する。
• 参考スコア（独自算出の注目度）: 5.502117675161604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers are being increasingly deployed in safety-critical applications that demand high reliability. It is crucial to ensure the correctness of their execution in spite of potential errors such as transient hardware errors. We propose a novel algorithm-based resilience framework called ALBERTA that allows us to perform end-to-end resilience analysis and protection of transformer-based architectures. First, our work develops an efficient process of computing and ranking the resilience of transformers layers. We find that due to the large size of transformer models, applying traditional network redundancy to a subset of the most vulnerable layers provides high error coverage albeit with impractically high overhead. We address this shortcoming by providing a software-directed, checksum-based error detection technique aimed at protecting the most vulnerable general matrix multiply (GEMM) layers in the transformer models that use either floating-point or integer arithmetic. Results show that our approach achieves over 99% coverage for errors that result in a mismatch with less than 0.2% and 0.01% computation and memory overheads, respectively. Lastly, we present the applicability of our framework in various modern GPU architectures under different numerical precisions. We introduce an efficient self-correction mechanism for resolving erroneous detection with an average of less than 2% overhead per error.
• Abstract（参考訳）: ビジョントランスフォーマーは、信頼性の高い安全クリティカルなアプリケーションにますますデプロイされている。 過渡的ハードウェアエラーのような潜在的なエラーにもかかわらず、実行の正確性を保証することが不可欠である。 アルゴリズムに基づく新しいレジリエンスフレームワークであるALBERTAを提案し、エンドツーエンドのレジリエンス分析とトランスフォーマーベースのアーキテクチャの保護を実現する。 まず、トランス層のレジリエンスを計算し、ランク付けする効率的なプロセスを開発する。 トランスモデルの規模が大きいため、従来のネットワーク冗長性を最も脆弱なレイヤのサブセットに適用することは、過激なオーバーヘッドを伴うにもかかわらず、高いエラーカバレッジを提供する。 本稿では,浮動小数点演算と整数演算を併用したトランスフォーマーモデルにおいて,最も脆弱な汎用行列乗算(GEMM)層を保護することを目的とした,ソフトウェア指向のチェックサムに基づくエラー検出手法を提供することにより,この問題に対処する。 その結果,提案手法は,それぞれ0.2%未満のミスマッチと0.01%のメモリオーバヘッドのミスマッチを生じるエラーに対して,99%以上のカバレッジを達成できた。 最後に、異なる数値精度で、最新のGPUアーキテクチャにおける我々のフレームワークの適用性を示す。 本稿では,誤り検出を平均2%未満のオーバーヘッドで解決する,効率的な自己補正機構を提案する。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Efficient Fault Detection Architectures for Modular Exponentiation Targeting Cryptographic Applications Benchmarked on FPGAs [2.156170153103442]
  本稿では,モジュールの指数化に適した軽量な故障検出アーキテクチャを提案する。 提案手法は, ほぼ100%に近い誤差検出率を実現し, 計算オーバーヘッドは7%程度である。
  論文  参考訳（メタデータ） (2024-02-28T04:02:41Z)
• Zero-Space Cost Fault Tolerance for Transformer-based Language Models on ReRAM [27.354689865791638]
  Resistive Random Access Memory (ReRAM)は、ディープニューラルネットワーク(DNN)のための有望なプラットフォームとして登場した。 フォールト欠陥などのハードウェア障害は、モデル推論中に重大な予測エラーを引き起こす可能性がある。 空間コストをゼロにするフォールトプロテクション機構を提案する。
  論文  参考訳（メタデータ） (2024-01-22T02:50:38Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Soft Error Reliability Analysis of Vision Transformers [14.132398744731635]
  自己注意機構を利用する視覚変換器(ViT)は、多くの古典的な視覚タスクにおいて優れた性能を示している。 既存のViTは、主に性能と精度を最適化するが、ソフトエラーによって引き起こされるViTの信頼性問題は概して見過ごされている。 本研究では,ViTの信頼性について検討し,異なるアーキテクチャの粒度の脆弱性について検討する。
  論文  参考訳（メタデータ） (2023-02-21T06:17:40Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Neural Architecture Search on Efficient Transformers and Beyond [23.118556295894376]
  ニューラルアーキテクチャサーチ(NAS)技術を用いて,効率的なトランスフォーマーのための最適なアーキテクチャを見つけるための新しいフレームワークを提案する。 我々は,効率的なトランスフォーマーの最適アーキテクチャが標準トランスフォーマーと比較して計算量が少ないことを観察した。 検索したアーキテクチャは標準のTransformerに匹敵する精度を維持しており、計算効率が著しく向上している。
  論文  参考訳（メタデータ） (2022-07-28T08:41:41Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Making Convolutions Resilient via Algorithm-Based Error Detection Techniques [2.696566807900575]
  畳み込みニューラルネットワーク(CNN)はリアルタイムテレメトリを正確に処理する。 CNNはハードウェア障害がある場合、正しく実行しなければならない。 完全な重複は必要な保証を提供するが、100%オーバーヘッドを引き起こす。
  論文  参考訳（メタデータ） (2020-06-08T23:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。