論文の概要: A text autoencoder from transformer for fast encoding language representation

• arxiv url: http://arxiv.org/abs/2111.02844v1
• Date: Thu, 4 Nov 2021 13:09:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 12:40:19.079533
• Title: A text autoencoder from transformer for fast encoding language representation
• Title（参考訳）: 高速符号化言語表現のための変換器からのテキストオートエンコーダ
• Authors: Tan Huang
• Abstract要約: 本稿では,注目層におけるウィンドウマスキング機構を用いた双方向言語モデルを提案する。 この研究は、BERTのようにランダムマスキングなしで文脈言語表現を計算する。 提案手法は, O($n2$) の他の変圧器モデルと比較して O(n) の複雑性が低いことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years BERT shows apparent advantages and great potential in natural language processing tasks. However, both training and applying BERT requires intensive time and resources for computing contextual language representations, which hinders its universality and applicability. To overcome this bottleneck, we propose a deep bidirectional language model by using window masking mechanism at attention layer. This work computes contextual language representations without random masking as does in BERT and maintains the deep bidirectional architecture like BERT. To compute the same sentence representation, our method shows O(n) complexity less compared to other transformer-based models with O($n^2$). To further demonstrate its superiority, computing context language representations on CPU environments is conducted, by using the embeddings from the proposed method, logistic regression shows much higher accuracy in terms of SMS classification. Moverover, the proposed method also achieves significant higher performance in semantic similarity tasks.
• Abstract（参考訳）: 近年、BERTは自然言語処理タスクにおいて明らかな利点と大きな可能性を示している。 しかし、BERTのトレーニングと適用には文脈言語表現の計算に時間とリソースが要るため、その普遍性と適用性が妨げられる。 このボトルネックを克服するために,注目層におけるウィンドウマスキング機構を用いた双方向言語モデルを提案する。 この作業は、BERTのようにランダムマスキングなしでコンテキスト言語表現を計算し、BERTのような深い双方向アーキテクチャを維持する。 同じ文表現を計算するために,O(n^2$) を用いた他の変圧器モデルと比較して O(n) の複雑性が低いことを示す。 さらにその優位性を示すために,提案手法の組込みを用いてcpu環境における文脈言語表現の計算を行い,sms分類の観点からロジスティック回帰法の方が精度が高いことを示す。 さらに,提案手法は意味的類似性タスクにおいて高い性能を実現する。

関連論文リスト

• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• Online Gesture Recognition using Transformer and Natural Language Processing [0.0]
  トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。 トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-05T10:17:22Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Demystifying BERT: Implications for Accelerator Design [4.80595971865854]
  私たちは、最も人気のあるNLP転送学習アルゴリズムの1つであるBERTに焦点を当て、アルゴリズムの振る舞いが将来のアクセラレータ設計を導く方法を特定します。 計算集約型BERT計算を特徴づけ、これらの計算をさらに最適化するためのソフトウェアと可能なハードウェアメカニズムについて議論します。 本分析では,BERT系モデルに対するシステム最適化のための全体解を同定する。
  論文  参考訳（メタデータ） (2021-04-14T01:06:49Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning [31.897630023454067]
  我々はTransformer-based Text Autoencoder (T-TA) と呼ばれる新しい双方向言語モデルを提案する。 T-TAは、反復せずに文脈言語表現を計算し、BERTのような深い双方向アーキテクチャの利点がある。 CPU環境でのランタイム実験では、提案したT-TAは、リランクタスクにおいてBERTベースのモデルよりも6倍高速で、セマンティック類似タスクでは12倍高速である。
  論文  参考訳（メタデータ） (2020-04-17T07:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。