論文の概要: Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet

• arxiv url: http://arxiv.org/abs/2102.08036v1
• Date: Tue, 16 Feb 2021 09:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:19:44.415318
• Title: Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
• Title（参考訳）: 自然言語生成におけるトランスフォーマーの探索 - GPT, BERT, XLNet
• Authors: M. Onat Topal, Anil Bas, Imke van Heerden
• Abstract要約: 近年,自然言語生成(nlg)における注意機構の増大とトランスフォーマーの台頭がみられている。 本稿では,GPT,BERT,XLNetの3つのトランスフォーマーモデルについて検討する。 詩の生成から要約まで、テキスト生成はトランスフォーマーベースの言語モデルが画期的な結果をもたらすため、利益をもたらす。
• 参考スコア（独自算出の注目度）: 1.8047694351309207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have seen a proliferation of attention mechanisms and the rise of Transformers in Natural Language Generation (NLG). Previously, state-of-the-art NLG architectures such as RNN and LSTM ran into vanishing gradient problems; as sentences grew larger, distance between positions remained linear, and sequential computation hindered parallelization since sentences were processed word by word. Transformers usher in a new era. In this paper, we explore three major Transformer-based models, namely GPT, BERT, and XLNet, that carry significant implications for the field. NLG is a burgeoning area that is now bolstered with rapid developments in attention mechanisms. From poetry generation to summarization, text generation derives benefit as Transformer-based language models achieve groundbreaking results.
• Abstract（参考訳）: 近年、注意メカニズムの急増と自然言語生成(NLG)におけるトランスフォーマーの台頭が見られます。 従来, RNN や LSTM といった最先端の NLG アーキテクチャは, 文が大きくなるにつれて, 位置間の距離が線形であり, 文が単語によって処理されるため, 並列化を妨げていた。 トランスフォーマーは新しい時代を迎えます。 本稿では、GPT、BERT、XLNetという3つの主要なトランスフォーマーベースのモデルについて検討する。 NLGは急成長する地域であり、注目のメカニズムが急速に発達している。 詩の生成から要約まで、テキスト生成はトランスフォーマーベースの言語モデルが画期的な結果をもたらすため、利益をもたらす。

関連論文リスト

• Transformers learn in-context by gradient descent [58.24152335931036]
  我々は、自動回帰タスクにおけるトランスフォーマーのトレーニングは、勾配に基づくメタラーニングの定式化と密接に関連していると主張している。 トレーニングされたトランスフォーマーがフォワードパスで勾配降下をどのように実装しているかを示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Leveraging Pre-trained Models for Failure Analysis Triplets Generation [0.0]
  我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。 生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-31T17:21:15Z)
• A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models [27.61226155871734]
  制御可能なテキスト生成(CTG)は、自然言語生成(NLG)分野における新興分野である 本稿では,この領域における共通課題,主なアプローチ,評価手法について,体系的な批判的考察を行う。 我々は、この分野が直面している課題について議論し、様々な将来的な方向性を示した。
  論文  参考訳（メタデータ） (2022-01-14T08:32:20Z)
• Systematic Generalization with Edge Transformers [13.455047232624857]
  We propose Edge Transformer, a new model that inspired from Transformer and rule-based symbolic AI。 Edge Transformerの最初の鍵となるアイデアは、Transformerモデルで行われているように、ベクトル状態とすべてのエッジ、すなわち入力ノードのすべてのペアを、すべてのノードとは対照的に関連付けることである。 関係推論,セマンティック解析,依存性解析において,合成一般化ベンチマークを用いたエッジトランスフォーマーの評価を行った。
  論文  参考訳（メタデータ） (2021-12-01T15:50:45Z)
• STransGAN: An Empirical Study on Transformer in GANs [107.1959266511569]
  GAN(Generative Adversarial Network)フレームワークにおけるTransformerの本質的特性について検討した。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい設計につながる。 Transformerベースの識別器であるSTrans-Dは、CNNベースの識別器とのギャップを大幅に減らす。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• G-Transformer for Document-level Machine Translation [26.3983306324392]
  変換ユニットをドキュメント全体に拡大すると、Transformerの教師付きトレーニングが失敗する可能性があることを示す。 分析の結果,ターゲット・ソース・アテンションの複雑化が失敗の原因であることが示唆された。 そこで我々は,G-Transformerを提案する。G-Transformerは,Transformerへの帰納バイアスとして仮定を導入し,ターゲットからソースへの注目の仮説空間を小さくする。
  論文  参考訳（メタデータ） (2021-05-31T07:47:10Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。