論文の概要: Can the Transformer Be Used as a Drop-in Replacement for RNNs in Text-Generating GANs?

• arxiv url: http://arxiv.org/abs/2108.12275v1
• Date: Thu, 26 Aug 2021 14:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-30 14:23:52.423892
• Title: Can the Transformer Be Used as a Drop-in Replacement for RNNs in Text-Generating GANs?
• Title（参考訳）: トランスフォーマーはテキスト生成ganのrnnのドロップイン代替として使えるのか?
• Authors: Kevin Blin and Andrei Kucharavy
• Abstract要約: 我々は、優れたテキスト生成敵ネットワーク(GAN)アーキテクチャー-ダイバーシティ・プロモーティングGAN(DPGAN)を用いている。 我々はLSTM層を自己注意型トランスフォーマー層に置き換えて効率を向上する試みを行った。 得られた自己注意 DPGAN (SADPGAN) は, 生成したテキストの性能, 品質, 多様性, 安定性について評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we address the problem of fine-tuned text generation with a limited computational budget. For that, we use a well-performing text generative adversarial network (GAN) architecture - Diversity-Promoting GAN (DPGAN), and attempted a drop-in replacement of the LSTM layer with a self-attention-based Transformer layer in order to leverage their efficiency. The resulting Self-Attention DPGAN (SADPGAN) was evaluated for performance, quality and diversity of generated text and stability. Computational experiments suggested that a transformer architecture is unable to drop-in replace the LSTM layer, under-performing during the pre-training phase and undergoing a complete mode collapse during the GAN tuning phase. Our results suggest that the transformer architecture need to be adapted before it can be used as a replacement for RNNs in text-generating GANs.
• Abstract（参考訳）: 本稿では,計算予算を限定した微調整テキスト生成の問題に対処する。 そこで我々は,DPGAN (Diversity-Promoting GAN) アーキテクチャを高性能に実現し,LSTM層を自己注意型トランスフォーマー層に置き換えることを試みた。 得られた自己注意 DPGAN (SADPGAN) は, テキストの性能, 品質, 多様性, 安定性について評価した。 計算実験により、トランスアーキテクチャはLSTM層に取って代わることができず、事前学習フェーズでは性能が低く、GANチューニングフェーズでは完全にモード崩壊する。 この結果から,テキスト生成GANにおけるRNNの代替として使用するには,トランスフォーマーアーキテクチャを適応する必要があることが示唆された。

関連論文リスト

• Does Transformer Interpretability Transfer to RNNs? [0.6437284704257459]
  近年のリカレントニューラルネットワークアーキテクチャの進歩により、RNNは等サイズトランスの性能に適合または超えることが可能になった。 本稿では,RNNの圧縮状態を利用して,これらの手法のいくつかを改善することができることを示す。
  論文  参考訳（メタデータ） (2024-04-09T02:59:17Z)
• Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
  テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。 線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
  論文  参考訳（メタデータ） (2024-02-23T19:34:06Z)
• Probing the limit of hydrologic predictability with the Transformer network [7.326504492614808]
  我々は、広くベンチマークされたCAMELSデータセット上で、バニラトランスフォーマーアーキテクチャがLSTMと競合しないことを示す。 Transformerの再現性のない変種はLSTMとの混合比較を得ることができ、同じKling-Gupta効率係数(KGE)を他の指標とともに生成する。 Transformerの結果は現在の最先端のものほど高くはないが、それでもいくつかの貴重な教訓が得られた。
  論文  参考訳（メタデータ） (2023-06-21T17:06:54Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• Combining Transformer Generators with Convolutional Discriminators [9.83490307808789]
  最近提案されたTransGANはトランスフォーマーアーキテクチャのみを使用した最初のGANである。 TransGANは、データ拡張、トレーニング中の補助的な超解像タスク、そして自己保持メカニズムを導く前にマスクを必要とする。 我々は、よく知られたCNN識別器のベンチマークを行い、トランスフォーマーベースジェネレータのサイズを減らし、両方のアーキテクチャ要素をハイブリッドモデルに組み込むことにより、より良い結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-05-21T07:56:59Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
  カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
  論文  参考訳（メタデータ） (2020-07-13T09:19:34Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。