論文の概要: Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2004.08097v1
• Date: Fri, 17 Apr 2020 07:43:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-12 13:16:48.974972
• Title: Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning
• Title（参考訳）: 教師なし学習のための高速かつ正確な双方向言語表現
• Authors: Joongbo Shin, Yoonhyung Lee, Seunghyun Yoon, Kyomin Jung
• Abstract要約: 我々はTransformer-based Text Autoencoder (T-TA) と呼ばれる新しい双方向言語モデルを提案する。 T-TAは、反復せずに文脈言語表現を計算し、BERTのような深い双方向アーキテクチャの利点がある。 CPU環境でのランタイム実験では、提案したT-TAは、リランクタスクにおいてBERTベースのモデルよりも6倍高速で、セマンティック類似タスクでは12倍高速である。
• 参考スコア（独自算出の注目度）: 31.897630023454067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even though BERT achieves successful performance improvements in various supervised learning tasks, applying BERT for unsupervised tasks still holds a limitation that it requires repetitive inference for computing contextual language representations. To resolve the limitation, we propose a novel deep bidirectional language model called Transformer-based Text Autoencoder (T-TA). The T-TA computes contextual language representations without repetition and has benefits of the deep bidirectional architecture like BERT. In run-time experiments on CPU environments, the proposed T-TA performs over six times faster than the BERT-based model in the reranking task and twelve times faster in the semantic similarity task. Furthermore, the T-TA shows competitive or even better accuracies than those of BERT on the above tasks.
• Abstract（参考訳）: BERTは様々な教師付き学習タスクのパフォーマンス改善に成功しているが、教師なしタスクにBERTを適用することは、文脈言語表現の計算に反復推論を必要とするという制限がある。 この制限を解決するために,Transformer-based Text Autoencoder (T-TA) と呼ばれる新しい双方向言語モデルを提案する。 T-TAは、反復せずに文脈言語表現を計算し、BERTのような深い双方向アーキテクチャの利点がある。 CPU環境でのランタイム実験では、提案したT-TAは、リランクタスクにおいてBERTベースのモデルよりも6倍高速で、セマンティック類似タスクでは12倍高速である。 さらに、T-TAは、上記のタスクにおけるBERTよりも、競争力や精度が向上している。

関連論文リスト

• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• A text autoencoder from transformer for fast encoding language representation [0.0]
  本稿では,注目層におけるウィンドウマスキング機構を用いた双方向言語モデルを提案する。 この研究は、BERTのようにランダムマスキングなしで文脈言語表現を計算する。 提案手法は, O($n2$) の他の変圧器モデルと比較して O(n) の複雑性が低いことを示す。
  論文  参考訳（メタデータ） (2021-11-04T13:09:10Z)
• Weighted Training for Cross-Task Learning [71.94908559469475]
  クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。 TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。 副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
  論文  参考訳（メタデータ） (2021-05-28T20:27:02Z)
• ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer [19.643512923368743]
  本稿では,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。 ラベルのないテキストを利用することで、ConSERTはBERT由来の文表現の崩壊問題を解消する。 STSデータセットの実験では、ConSERTは以前の最先端よりも8%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2021-05-25T08:15:01Z)
• TR-BERT: Dynamic Token Reduction for Accelerating BERT Inference [54.791572981834435]
  既存の訓練済み言語モデル(PLM)は推論において計算コストがかかることが多い。 TR-BERT と呼ばれる PLM の推論を高速化する動的トークン削減手法を提案する。 TR-BERTは、トークン削減プロセスを多段階のトークン選択問題として定式化し、強化学習を通じて選択戦略を自動的に学習する。
  論文  参考訳（メタデータ） (2021-05-25T02:28:51Z)
• Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks [13.922700041632302]
  深層トランスフォーマーモデル(Bidirectional Representations from Transformers (BERT))に先行知識を組み込む問題について検討する。 BERTがもっとも必要とするタスク固有の知識と、それが最も必要である場所をよりよく理解する。 実験により,提案した知識を付加したBERTが意味的テキストマッチング性能を一貫して改善できることが実証された。
  論文  参考訳（メタデータ） (2021-02-22T12:07:16Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for Efficient Retrieval [11.923682816611716]
  本稿では,効率的な検索のためのTwinBERTモデルを提案する。 クエリとドキュメントをそれぞれ表現するBERTライクなエンコーダがツイン構造化されている。 ドキュメントの埋め込みはオフラインでプリコンパイルされ、メモリにキャッシュされる。
  論文  参考訳（メタデータ） (2020-02-14T22:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。