論文の概要: Unlocking the Power of GANs in Non-Autoregressive Text Generation

• arxiv url: http://arxiv.org/abs/2305.03977v3
• Date: Wed, 02 Oct 2024 06:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:35.891102
• Title: Unlocking the Power of GANs in Non-Autoregressive Text Generation
• Title（参考訳）: 非自己回帰テキスト生成におけるGANのパワーのアンロック
• Authors: Da Ren, Yi Cai, Qing Li,
• Abstract要約: NAR構造に基づく構築言語GANの先駆的研究を行う。 GANに基づく非自己回帰変換器(ANT)モデルを提案する。 実験の結果、ANTはメインストリームモデルと同等のパフォーマンスを単一のフォワードパスで達成できることが示された。
• 参考スコア（独自算出の注目度）: 12.168952901520461
• License:
• Abstract: Generative Adversarial Networks (GANs) have been studied in text generation to tackle the exposure bias problem. Despite their remarkable development, they adopt autoregressive structures so suffering from high latency in both training and inference stages. Although GANs have potential to support efficient generation by adopting non-autoregressive (NAR) structures, their explorations in NAR models are extremely limited. In this work, we conduct pioneering study of building language GANs based on NAR structures. We identify two issues that constrain the performance of GAN-based NAR models. Firstly, existing methods of incorporating latent variables provide highly similar representations which cannot describe the diversity of different words in sentences. We tackle this problem by proposing Position-Aware Self-Modulation, providing more diverse and effective representations. Secondly, the attention mechanism in Transformer cannot accurately build word dependencies in the unstable training of GANs, and we adopt Dependency Feed Forward Network to enhance the model capacity in dependency modeling. Armed with these two facilities, we propose a GAN-based NAR model, Adversarial Non-autoregressive Transformer (ANT). The experimental results demonstrate that ANT can achieve comparable performance with mainstream models in a single forward pass and has great potential in various applications like latent interpolation and semi-supervised learning.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)は、露出バイアス問題に対処するためにテキスト生成において研究されている。 その顕著な発展にもかかわらず、彼らは自己回帰構造を採用しており、トレーニングと推論の両方の段階で高い遅延に悩まされている。 GANは非自己回帰(NAR)構造を採用することで効率的な生成を支援する可能性があるが、NARモデルの探索は極めて限られている。 本研究では,NAR 構造に基づく言語 GAN 構築の先駆的研究を行う。 GANベースのNARモデルの性能を制約する2つの問題を特定する。 第一に、潜在変数を組み込む既存の方法は、文中の異なる単語の多様性を記述することができない非常に類似した表現を提供する。 我々は、より多様で効果的な表現を提供する、位置対応自己変調を提案することで、この問題に対処する。 第二に、Transformerのアテンションメカニズムは、GANの不安定なトレーニングにおいて、単語依存を正確に構築することができず、依存フィードフォワードネットワークを採用して、依存性モデリングにおけるモデルキャパシティを向上させる。 これら2つの設備を組み込んだGANベースのNARモデルであるAdversarial Non-auto-regressive Transformer (ANT)を提案する。 実験の結果、ANTはメインストリームモデルに匹敵する性能を1つのフォワードパスで達成でき、潜在補間や半教師付き学習といった様々な応用において大きな可能性を秘めている。

関連論文リスト

• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Safety-compliant Generative Adversarial Networks for Human Trajectory Forecasting [95.82600221180415]
  群衆における人間予測は、社会的相互作用をモデル化し、衝突のないマルチモーダル分布を出力するという課題を提示する。 SGANv2は、動き時間相互作用モデリングと変圧器に基づく識別器設計を備えた安全に配慮したSGANアーキテクチャである。
  論文  参考訳（メタデータ） (2022-09-25T15:18:56Z)
• A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond [145.43029264191543]
  非自己回帰(NAR)生成は推論を高速化するために機械翻訳(NMT)で最初に提案される。 NAR生成は機械翻訳を著しく加速させるが、自己回帰(AR)生成の推論は翻訳精度を犠牲にする。 NAR生成とAR生成の精度ギャップを埋めるために、多くの新しいモデルとアルゴリズムが設計/提案されている。
  論文  参考訳（メタデータ） (2022-04-20T07:25:22Z)
• Diformer: Directional Transformer for Neural Machine Translation [13.867255817435705]
  自己回帰(AR)モデルと非自己回帰(NAR)モデルは、パフォーマンスとレイテンシにおいてそれぞれ優位である。 本稿では,ARとNARを3世代に融合した方向変換器(Diformer)を提案する。 4つのWMTベンチマークの実験では、ダイフォーマーは現在の統一モデリング作業より優れており、ARとNARデコーディングの両方で1.5 BLEUポイント以上である。
  論文  参考訳（メタデータ） (2021-12-22T02:35:29Z)
• TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
  非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。 この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。 以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-04T02:34:55Z)
• Energy Decay Network (EDeN) [0.0]
  このフレームワークは、潜在的な構造的表現を通じて経験の遺伝的移行を開発する。 成功した経路は、エポック当たりのスパイク分布の安定性によって定義される。
  論文  参考訳（メタデータ） (2021-03-10T23:17:59Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• DeshuffleGAN: A Self-Supervised GAN to Improve Structure Learning [0.0]
  我々は、GAN性能を改善する上で重要なポイントの1つは、データ内の空間構造を学習する能力を備えたモデルを提供することであると主張している。 ランダムにシャッフルされた画像タイルのパズルを解くデシャッフルタスクを導入し、デシャッフルGANが空間構造と現実的な外観の表現能力を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2020-06-15T19:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。