論文の概要: Consistent Accelerated Inference via Confident Adaptive Transformers

• arxiv url: http://arxiv.org/abs/2104.08803v1
• Date: Sun, 18 Apr 2021 10:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:49:39.820104
• Title: Consistent Accelerated Inference via Confident Adaptive Transformers
• Title（参考訳）: 信頼度適応変換器による一貫性加速推論
• Authors: Tal Schuster, Adam Fisch, Tommi Jaakkola, Regina Barzilay
• Abstract要約: 我々は,大規模で高価な多層トランスの推論を確実に高速化する新しい手法を開発した。 また,本モデルとの確固たる一貫性を高い信頼度で保証しつつ,計算効率を向上させる。 このアプローチの有効性を4つの分類および回帰タスクで実証する。
• 参考スコア（独自算出の注目度）: 29.034390810078172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a novel approach for confidently accelerating inference in the large and expensive multilayer Transformers that are now ubiquitous in natural language processing (NLP). Amortized or approximate computational methods increase efficiency, but can come with unpredictable performance costs. In this work, we present CATs -- Confident Adaptive Transformers -- in which we simultaneously increase computational efficiency, while guaranteeing a specifiable degree of consistency with the original model with high confidence. Our method trains additional prediction heads on top of intermediate layers, and dynamically decides when to stop allocating computational effort to each input using a meta consistency classifier. To calibrate our early prediction stopping rule, we formulate a unique extension of conformal prediction. We demonstrate the effectiveness of this approach on four classification and regression tasks.
• Abstract（参考訳）: 我々は,現在自然言語処理(NLP)においてユビキタスである大規模で高価な多層トランスフォーマーにおいて,推論を確実に高速化するための新しいアプローチを開発した。 補正あるいは近似計算手法は効率を上げるが、予測不可能な性能コストが伴う。 本研究では,CAT(Confident Adaptive Transformers)について,信頼性の高い元のモデルとの整合性を保証しつつ,計算効率を同時に向上させる。 提案手法は,中間層上に付加的な予測ヘッドを学習し,メタ一貫性分類器を用いて,各入力への計算作業の割り当てを停止するタイミングを動的に決定する。 初期予測停止規則を校正するために、共形予測のユニークな拡張を定式化する。 この手法が4つの分類と回帰タスクに有効であることを示す。

関連論文リスト

• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Fourier Test-time Adaptation with Multi-level Consistency for Robust Classification [10.291631977766672]
  本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。 FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。 異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
  論文  参考訳（メタデータ） (2023-06-05T02:29:38Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Pretrained Transformers as Universal Computation Engines [105.00539596788127]
  自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。 本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。 このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2021-03-09T06:39:56Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。