論文の概要: ProTransformer: Robustify Transformers via Plug-and-Play Paradigm
- arxiv url: http://arxiv.org/abs/2410.23182v1
- Date: Wed, 30 Oct 2024 16:38:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:29:00.642126
- Title: ProTransformer: Robustify Transformers via Plug-and-Play Paradigm
- Title（参考訳）: ProTransformer: Plug-and-Play Paradigmによる変換器のロバスト化
- Authors: Zhichao Hou, Weizhi Gao, Yuchen Shen, Feiyi Wang, Xiaorui Liu,
- Abstract要約: 本稿では,トランスアーキテクチャのレジリエンス向上を目的とした,新しいロバストなアテンション機構を提案する。
このテクニックは、プラグイン・アンド・プレイ層として既存のトランスフォーマーに統合することができ、追加のトレーニングや微調整を必要とせずに、堅牢性を向上させることができる。
- 参考スコア（独自算出の注目度）: 9.50340896977707
- License:
- Abstract: Transformer-based architectures have dominated various areas of machine learning in recent years. In this paper, we introduce a novel robust attention mechanism designed to enhance the resilience of transformer-based architectures. Crucially, this technique can be integrated into existing transformers as a plug-and-play layer, improving their robustness without the need for additional training or fine-tuning. Through comprehensive experiments and ablation studies, we demonstrate that our ProTransformer significantly enhances the robustness of transformer models across a variety of prediction tasks, attack mechanisms, backbone architectures, and data domains. Notably, without further fine-tuning, the ProTransformer consistently improves the performance of vanilla transformers by 19.5%, 28.3%, 16.1%, and 11.4% for BERT, ALBERT, DistilBERT, and RoBERTa, respectively, under the classical TextFooler attack. Furthermore, ProTransformer shows promising resilience in large language models (LLMs) against prompting-based attacks, improving the performance of T5 and LLaMA by 24.8% and 17.8%, respectively, and enhancing Vicuna by an average of 10.4% against the Jailbreaking attack. Beyond the language domain, ProTransformer also demonstrates outstanding robustness in both vision and graph domains.
- Abstract（参考訳）: 近年、トランスフォーマーベースのアーキテクチャが機械学習の様々な領域を支配している。
本稿では,トランスアーキテクチャのレジリエンス向上を目的とした,新しいロバストなアテンション機構を提案する。
重要なのは、このテクニックを既存のトランスにプラグイン・アンド・プレイ層として組み込むことができ、追加のトレーニングや微調整を必要とせずに堅牢性を向上させることができる。
総合的な実験とアブレーション研究を通じて、我々のProTransformerは、様々な予測タスク、アタックメカニズム、バックボーンアーキテクチャ、データドメインにわたるトランスフォーマーモデルの堅牢性を大幅に向上することを示した。
特に、ProTransformerは、古典的なTextFooler攻撃の下で、BERT、ALBERT、DistilBERT、RoBERTaそれぞれ19.5%、28.3%、16.1%、11.4%のバニラ変圧器の性能を継続的に改善している。
さらにProTransformerは、大規模言語モデル(LLM)のプロンプトベースの攻撃に対する弾力性を示し、T5とLLaMAのパフォーマンスをそれぞれ24.8%、LLaMAは17.8%改善し、Vicunaを平均10.4%向上させた。
言語ドメイン以外にも、ProTransformerはビジョンドメインとグラフドメインの両方において、優れた堅牢性を示している。
関連論文リスト
- TransformerFAM: Feedback attention is working memory [18.005034679674274]
本稿では,フィードバックループを利用した新しいトランスフォーマーアーキテクチャを提案する。
TransformerFAMは追加の重みを必要とせず、事前訓練されたモデルとのシームレスな統合を可能にする。
論文 参考訳（メタデータ） (2024-04-14T07:43:45Z) - GenTron: Diffusion Transformers for Image and Video Generation [67.25155983058751]
我々は、Transformerベースの拡散を利用した生成モデルのファミリーであるGenTronを紹介する。
我々はGenTronを約900万から3B以上のパラメータに拡張し、視覚的品質の大幅な改善を観察した。
我々はGenTronをテキスト・ツー・ビデオ・ジェネレーションに拡張し、動画品質を向上させるために新しいモーションフリー・ガイダンスを取り入れた。
論文 参考訳（メタデータ） (2023-12-07T18:59:30Z) - MABViT -- Modified Attention Block Enhances Vision Transformers [0.0]
本稿では,この問題に対処するために,注目ブロック内に非線形性を統合した新しい変圧器変圧器を提案する。
我々は,値テンソル上でのGLUベースのアクティベーション関数を実装し,この新手法はImageNet-1Kデータセット上で現在最先端のS/16変圧器を0.6%上回っている。
論文 参考訳（メタデータ） (2023-12-03T09:00:31Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳（メタデータ） (2023-10-10T13:44:09Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - ViTA: A Vision Transformer Inference Accelerator for Edge Applications [4.3469216446051995]
ViT、Swin Transformer、Transformer-in-Transformerといったビジョントランスモデルは近年、コンピュータビジョンタスクにおいて大きな注目を集めている。
これらは計算量が多く、リソース制約のあるエッジデバイスにデプロイするのは難しい。
本稿では、リソース制約のあるエッジコンピューティングデバイスをターゲットにしたビジョントランスフォーマーモデル推論用ハードウェアアクセラレータViTAを提案する。
論文 参考訳（メタデータ） (2023-02-17T19:35:36Z) - Scaling Vision Transformers to 22 Billion Parameters [140.67853929168382]
Vision Transformers (ViT) は画像とビデオのモデリングに同じアーキテクチャを導入したが、まだほぼ同じ程度に拡張されていない。
本稿では,22Bパラメータ ViT (ViT-22B) の高効率かつ安定なトレーニング法を提案する。
ViT-22Bは、視界における"LLMライクな"スケーリングの可能性を示し、そこに到達するための重要なステップを提供する。
論文 参考訳（メタデータ） (2023-02-10T18:58:21Z) - Foundation Transformers [105.06915886136524]
我々は、真の汎用モデリングのためのファンデーショントランスフォーマーの開発を求めている。
本研究では,その目的を達成するための変圧器の変種であるマグニートーを導入する。
論文 参考訳（メタデータ） (2022-10-12T17:16:27Z) - ByteTransformer: A High-Performance Transformer Boosted for
Variable-Length Inputs [6.9136984255301]
可変長入力のために強化された高性能トランスであるByteTransformerを提案する。
ByteTransformerは、PyTorch JIT、XLA、Tencent TurboTransformer、NVIDIA FasterTransformerといった最先端のTransformerフレームワークを上回っている。
論文 参考訳（メタデータ） (2022-10-06T16:57:23Z) - Dynamic Transformer for Efficient Machine Translation on Embedded
Devices [0.9786690381850356]
利用可能なリソースに基づいてトランスフォーマーアーキテクチャを任意のタイミングでスケールする機械翻訳モデルを提案する。
提案手法である"Dynamic-HAT"では,HAT SuperTransformerをバックボーンとして,精度-レイテンシのトレードオフの異なるSubTransformerを探索する。
Dynamic-HATはJetson Nano上でテストされており、提案手法ではスーパートランスフォーマーから直接サンプリングされたサブトランスフォーマーをスイッチング時間1sで使用する。
論文 参考訳（メタデータ） (2021-07-17T07:36:29Z) - On the Adversarial Robustness of Visual Transformers [129.29523847765952]
本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。
さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
論文 参考訳（メタデータ） (2021-03-29T14:48:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。