論文の概要: The Cascade Transformer: an Application for Efficient Answer Sentence Selection

• arxiv url: http://arxiv.org/abs/2005.02534v2
• Date: Thu, 7 May 2020 15:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 14:07:11.074137
• Title: The Cascade Transformer: an Application for Efficient Answer Sentence Selection
• Title（参考訳）: カスケード変換器:効率的な解答文選択への応用
• Authors: Luca Soldaini and Alessandro Moschitti
• Abstract要約: 本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
• 参考スコア（独自算出の注目度）: 116.09532365093659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large transformer-based language models have been shown to be very effective in many classification tasks. However, their computational complexity prevents their use in applications requiring the classification of a large set of candidates. While previous works have investigated approaches to reduce model size, relatively little attention has been paid to techniques to improve batch throughput during inference. In this paper, we introduce the Cascade Transformer, a simple yet effective technique to adapt transformer-based models into a cascade of rankers. Each ranker is used to prune a subset of candidates in a batch, thus dramatically increasing throughput at inference time. Partial encodings from the transformer model are shared among rerankers, providing further speed-up. When compared to a state-of-the-art transformer model, our approach reduces computation by 37% with almost no impact on accuracy, as measured on two English Question Answering datasets.
• Abstract（参考訳）: 大規模なトランスフォーマーベースの言語モデルは、多くの分類タスクで非常に効果的であることが示されている。 しかし、計算の複雑さは、多数の候補の分類を必要とするアプリケーションでの使用を妨げている。 従来の研究では,モデルサイズ削減のアプローチが検討されているが,推論時のバッチスループット向上手法にはあまり注目されていない。 本稿では,変圧器に基づくモデルを複数のランチャーに適応させるための,単純かつ効果的な手法であるカスケードトランスフォーマーを提案する。 各ローダは、バッチ内の候補のサブセットをプルークするために使用され、推論時にスループットが劇的に増加する。 トランスフォーマモデルからの部分的なエンコーディングはリカクタ間で共有され、さらなるスピードアップを提供する。 最新のトランスフォーマーモデルと比較すると,2つの英語質問応答データセットで測定したように,計算精度にほとんど影響を与えず,計算量を37%削減する。

関連論文リスト

• How Redundant Is the Transformer Stack in Speech Representation Models? [1.3873323883842132]
  自己教師付き音声表現モデルは、音声認識、話者識別、感情検出など様々なタスクにおいて顕著な性能を示した。 近年, 変圧器モデルの研究により, 層間に高い冗長性と, 重要な刈り取りの可能性が確認されている。 後処理を必要とせず,変換器を用いた音声表現モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-10T11:00:24Z)
• Masked Mixers for Language Generation and Retrieval [0.0]
  トランスにおける入力表現の精度は低いが,マスクミキサーではより正確に表現できる。 TinyStoriesに適用されたマスク付きミキサーは、初期のトランスフォーマー実装よりも効率的に因果言語タスクを学習する。 本稿では,既存の生成モデル埋め込みに基づく検索モデルの効率的なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:17:18Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
  プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。 モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。 本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T07:41:11Z)
• Sparse is Enough in Scaling Transformers [12.561317511514469]
  大規模なTransformerモデルは、多くのタスクにおいて印象的な結果をもたらすが、トレーニングや微調整は高価であり、デコードが遅いため、使用と研究が手に入らない。 本稿では,スパース層を用いた次世代トランスフォーマーモデルのファミリーであるScaling Transformerを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:53:46Z)
• DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
  DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。 少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
  論文  参考訳（メタデータ） (2021-06-01T13:33:53Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Shortformer: Better Language Modeling using Shorter Inputs [62.51758040848735]
  当初、モデルを短いサブシーケンスでトレーニングした後、長いサブシーケンスに移行する前に、どちらもトレーニング時間を短縮することを示す。 次に, 変圧器における再帰法の効率を改善する方法を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
  我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。 我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。 提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
  論文  参考訳（メタデータ） (2020-10-14T12:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。