論文の概要: Faith: An Efficient Framework for Transformer Verification on GPUs

• arxiv url: http://arxiv.org/abs/2209.12708v1
• Date: Fri, 23 Sep 2022 15:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 18:11:14.895649
• Title: Faith: An Efficient Framework for Transformer Verification on GPUs
• Title（参考訳）: Faith: GPU上でのトランスフォーマー検証のための効率的なフレームワーク
• Authors: Boyuan Feng, Tianqi Tang, Yuke Wang, Zhaodong Chen, Zheng Wang, Shu Yang, Yuan Xie, Yufei Ding
• Abstract要約: 本稿では,GPU上でのトランスフォーマー検証のための効率的なフレームワークであるFaithを提案する。 我々はセマンティック情報を利用して,計算グラフレベルでの効率的なカーネル融合を実現する。 Faithは最先端のフレームワークよりも2.1times$から3.4times$(2.6times$)のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 27.363093119720723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer verification draws increasing attention in machine learning research and industry. It formally verifies the robustness of transformers against adversarial attacks such as exchanging words in a sentence with synonyms. However, the performance of transformer verification is still not satisfactory due to bound-centric computation which is significantly different from standard neural networks. In this paper, we propose Faith, an efficient framework for transformer verification on GPUs. We first propose a semantic-aware computation graph transformation to identify semantic information such as bound computation in transformer verification. We exploit such semantic information to enable efficient kernel fusion at the computation graph level. Second, we propose a verification-specialized kernel crafter to efficiently map transformer verification to modern GPUs. This crafter exploits a set of GPU hardware supports to accelerate verification specialized operations which are usually memory-intensive. Third, we propose an expert-guided autotuning to incorporate expert knowledge on GPU backends to facilitate large search space exploration. Extensive evaluations show that Faith achieves $2.1\times$ to $3.4\times$ ($2.6\times$ on average) speedup over state-of-the-art frameworks.
• Abstract（参考訳）: トランスフォーマー検証は、機械学習の研究と産業で注目を集めている。 これは、文中の単語を同義語で交換するなどの敵攻撃に対するトランスフォーマーの堅牢さを正式に検証する。 しかし、標準ニューラルネットワークとは大きく異なる境界中心計算のため、変圧器検証の性能は依然として不十分である。 本稿では,GPU上でのトランスフォーマー検証のための効率的なフレームワークであるFaithを提案する。 まず,変換器検証における有界計算などの意味情報を識別する意味認識型計算グラフ変換を提案する。 このような意味情報を利用して,計算グラフレベルで効率的なカーネル融合を実現する。 第2に、トランスフォーマー検証を現代GPUに効率的にマッピングする検証専用カーネルクラフトを提案する。 このクラフトはGPUハードウェアのセットを利用して、通常メモリ集約的な検証専用操作を高速化する。 第3に,GPUバックエンドに専門家の知識を取り入れ,大規模な検索空間探索を容易にするための専門家誘導オートチューニングを提案する。 広範な評価により、信条は最先端のフレームワークよりも2.1\times$から3.4\times$(平均2.6\times$)のスピードアップを達成している。

関連論文リスト

• FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection [12.594436202557446]
  本稿では,視覚変換器(ViT)が顔面偽造検出に最適である理由について検討する。 本稿では, 微妙な不整合情報を抽出するためにViTを拡張したFakeFormerというディープフェイク検出フレームワークを提案する。 FF++、Celeb-DF、WildDeepfake、DFD、DFDCP、DFDCなど、さまざまな有名なデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2024-10-29T11:36:49Z)
• AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems [10.585040856070941]
  本稿では,意味的に類似した入力を見つけ,計算の類似性を識別する新しい埋め込み手法を提案する。 推論精度の低下を無視して,平均で22%(最大68%)の推論遅延低減を可能にする。
  論文  参考訳（メタデータ） (2023-01-23T04:24:26Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer [63.25665813125223]
  本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。 CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。 主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T16:03:53Z)
• An Extendable, Efficient and Effective Transformer-based Object Detector [95.06044204961009]
  我々は、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。 ViDTは、最近のSwin Transformerをスタンドアロンのオブジェクト検出器に拡張するために、再構成されたアテンションモジュールを導入した。 オブジェクト検出とインスタンスセグメンテーションのための共同タスク学習をサポートするために、ViDT+に拡張する。
  論文  参考訳（メタデータ） (2022-04-17T09:27:45Z)
• Iwin: Human-Object Interaction Detection via Transformer with Irregular Windows [57.00864538284686]
  Iwin Transformerは階層型トランスフォーマーで、不規則ウィンドウ内でトークン表現学習とトークン集約を行う。 Iwin Transformerの有効性と効率を,2つの標準HOI検出ベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-03-20T12:04:50Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• ViDT: An Efficient and Effective Fully Transformer-based Object Detector [97.71746903042968]
  検出変換器は、オブジェクト検出のための最初のエンドツーエンド学習システムである。 視覚変換器は、画像分類のための最初の完全変換器ベースのアーキテクチャである。 本稿では、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:05Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。