論文の概要: Dynamic Transformers Provide a False Sense of Efficiency

• arxiv url: http://arxiv.org/abs/2305.12228v1
• Date: Sat, 20 May 2023 16:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:49:37.447478
• Title: Dynamic Transformers Provide a False Sense of Efficiency
• Title（参考訳）: 動的トランスフォーマーは、誤った効率感をもたらす
• Authors: Yiming Chen, Simin Chen, Zexin Li, Wei Yang, Cong Liu, Robby T. Tan, Haizhou Li
• Abstract要約: マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
• 参考スコア（独自算出の注目度）: 75.39702559746533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite much success in natural language processing (NLP), pre-trained language models typically lead to a high computational cost during inference. Multi-exit is a mainstream approach to address this issue by making a trade-off between efficiency and accuracy, where the saving of computation comes from an early exit. However, whether such saving from early-exiting is robust remains unknown. Motivated by this, we first show that directly adapting existing adversarial attack approaches targeting model accuracy cannot significantly reduce inference efficiency. To this end, we propose a simple yet effective attacking framework, SAME, a novel slowdown attack framework on multi-exit models, which is specially tailored to reduce the efficiency of the multi-exit models. By leveraging the multi-exit models' design characteristics, we utilize all internal predictions to guide the adversarial sample generation instead of merely considering the final prediction. Experiments on the GLUE benchmark show that SAME can effectively diminish the efficiency gain of various multi-exit models by 80% on average, convincingly validating its effectiveness and generalization ability.
• Abstract（参考訳）: 自然言語処理(NLP)の成功にもかかわらず、事前訓練された言語モデルは推論時に高い計算コストをもたらす。 マルチエグジット(Multi-exit)は、効率性と精度をトレードオフすることでこの問題に対処する主要なアプローチである。 しかし、早期出所による貯蓄が堅牢かどうかは不明である。 そこで,本研究では,モデル精度を目標とした既存攻撃手法の直接的適応は,推論効率を著しく低下させることができないことを示す。 そこで本研究では,マルチエクイットモデルの効率を低下させるために特別に調整された,簡易かつ効果的な攻撃フレームワークである,マルチエクイットモデルに対する新しいスローダウン攻撃フレームワークを提案する。 マルチエクイットモデルの設計特性を生かして、全ての内部予測を用いて、最終的な予測を単に考慮するのではなく、逆のサンプル生成を導く。 GLUEベンチマーク実験により, 種々のマルチエクイットモデルの効率向上を平均で80%削減し, その有効性と一般化能力を確実に検証できることが示された。

関連論文リスト

• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on Prototypical Networks [43.967626080432275]
  BERT(DE$3$-BERT)のための新しい遠隔拡張早期実行フレームワークを提案する。 我々は,古典的エントロピーに基づく地域情報と距離に基づくグローバル情報とを補完するハイブリッドエグジット戦略を実装した。 GLUEベンチマークの実験では、De$3$-BERTが最先端モデルより一貫して優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-03T15:51:17Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。