論文の概要: An Adversarial Non-Autoregressive Model for Text Generation with Incomplete Information

• arxiv url: http://arxiv.org/abs/2305.03977v2
• Date: Fri, 1 Dec 2023 15:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 18:41:52.213956
• Title: An Adversarial Non-Autoregressive Model for Text Generation with Incomplete Information
• Title（参考訳）: 不完全情報を用いたテキスト生成のための逆非自己回帰モデル
• Authors: Da Ren, Yi Cai, Qing Li
• Abstract要約: 本稿では,非自己回帰変換器(ANT)の非完全情報シナリオ(IIS)を提案する。 ANTには2つの特徴がある。1) より合理的な隠蔽表現を提供する位置対応の自己変調、2) 依存性フィードフォワードネットワークは依存性モデリングの能力を強化する。 潜在学習や半教師あり学習など,様々な応用にその可能性を示す。
• 参考スコア（独自算出の注目度）: 13.676683551271015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive models have been widely studied in the Complete Information Scenario (CIS), in which the input has complete information of corresponding output. However, their explorations in the Incomplete Information Scenario (IIS) are extremely limited. Our analyses reveal that the IIS's incomplete input information will augment the inherent limitations of existing non-autoregressive models trained under Maximum Likelihood Estimation. In this paper, we propose for the IIS an Adversarial Non-autoregressive Transformer (ANT) which has two features: 1) Position-Aware Self-Modulation to provide more reasonable hidden representations, and 2) Dependency Feed Forward Network to strengthen its capacity in dependency modeling. We compare ANT with other mainstream models in the IIS and demonstrate that ANT can achieve comparable performance with much fewer decoding iterations. Furthermore, we show its great potential in various applications like latent interpolation and semi-supervised learning.
• Abstract（参考訳）: 非自己回帰モデルは、入力が対応する出力の完全な情報を持つ完全情報シナリオ(CIS)で広く研究されている。 しかし、不完全情報シナリオ(IIS)における彼らの探索は極めて限られている。 解析の結果,IISの不完全入力情報により,最大類似度推定の下で訓練された既存の非自己回帰モデルの性質的限界が増大することが明らかとなった。 本稿では,2つの特徴を有するIIS型非自己回帰変換器(ANT)を提案する。 1)より合理的な隠蔽表現を提供する位置対応自己変調 2)依存性フィードフォワードネットワークは、依存性モデリングの能力を強化する。 我々はANTをIISの他の主流モデルと比較し、ANTがデコードイテレーションをはるかに少なくして同等のパフォーマンスを達成できることを示します。 さらに,潜時補間や半教師あり学習など,様々な応用にその可能性を示す。

関連論文リスト

• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Safety-compliant Generative Adversarial Networks for Human Trajectory Forecasting [95.82600221180415]
  群衆における人間予測は、社会的相互作用をモデル化し、衝突のないマルチモーダル分布を出力するという課題を提示する。 SGANv2は、動き時間相互作用モデリングと変圧器に基づく識別器設計を備えた安全に配慮したSGANアーキテクチャである。
  論文  参考訳（メタデータ） (2022-09-25T15:18:56Z)
• A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond [145.43029264191543]
  非自己回帰(NAR)生成は推論を高速化するために機械翻訳(NMT)で最初に提案される。 NAR生成は機械翻訳を著しく加速させるが、自己回帰(AR)生成の推論は翻訳精度を犠牲にする。 NAR生成とAR生成の精度ギャップを埋めるために、多くの新しいモデルとアルゴリズムが設計/提案されている。
  論文  参考訳（メタデータ） (2022-04-20T07:25:22Z)
• Diformer: Directional Transformer for Neural Machine Translation [13.867255817435705]
  自己回帰(AR)モデルと非自己回帰(NAR)モデルは、パフォーマンスとレイテンシにおいてそれぞれ優位である。 本稿では,ARとNARを3世代に融合した方向変換器(Diformer)を提案する。 4つのWMTベンチマークの実験では、ダイフォーマーは現在の統一モデリング作業より優れており、ARとNARデコーディングの両方で1.5 BLEUポイント以上である。
  論文  参考訳（メタデータ） (2021-12-22T02:35:29Z)
• TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
  非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。 この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。 以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-04T02:34:55Z)
• Energy Decay Network (EDeN) [0.0]
  このフレームワークは、潜在的な構造的表現を通じて経験の遺伝的移行を開発する。 成功した経路は、エポック当たりのスパイク分布の安定性によって定義される。
  論文  参考訳（メタデータ） (2021-03-10T23:17:59Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• DeshuffleGAN: A Self-Supervised GAN to Improve Structure Learning [0.0]
  我々は、GAN性能を改善する上で重要なポイントの1つは、データ内の空間構造を学習する能力を備えたモデルを提供することであると主張している。 ランダムにシャッフルされた画像タイルのパズルを解くデシャッフルタスクを導入し、デシャッフルGANが空間構造と現実的な外観の表現能力を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2020-06-15T19:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。