論文の概要: SparseGAN: Sparse Generative Adversarial Network for Text Generation

• arxiv url: http://arxiv.org/abs/2103.11578v2
• Date: Mon, 24 Jul 2023 06:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 01:39:00.469017
• Title: SparseGAN: Sparse Generative Adversarial Network for Text Generation
• Title（参考訳）: SparseGAN:テキスト生成のためのスパース生成対応ネットワーク
• Authors: Liping Yuan, Jiehang Zeng, Xiaoqing Zheng
• Abstract要約: 本稿では,識別器への入力として,意味解釈可能ながスパース文表現を生成するスパースGANを提案する。 このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。
• 参考スコア（独自算出の注目度）: 8.634962333084724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is still a challenging task to learn a neural text generation model under the framework of generative adversarial networks (GANs) since the entire training process is not differentiable. The existing training strategies either suffer from unreliable gradient estimations or imprecise sentence representations. Inspired by the principle of sparse coding, we propose a SparseGAN that generates semantic-interpretable, but sparse sentence representations as inputs to the discriminator. The key idea is that we treat an embedding matrix as an over-complete dictionary, and use a linear combination of very few selected word embeddings to approximate the output feature representation of the generator at each time step. With such semantic-rich representations, we not only reduce unnecessary noises for efficient adversarial training, but also make the entire training process fully differentiable. Experiments on multiple text generation datasets yield performance improvements, especially in sequence-level metrics, such as BLEU.
• Abstract（参考訳）: 学習過程全体が微分可能ではないため,gans(generative adversarial networks)の枠組みの下でニューラルネットワーク生成モデルを学ぶことは依然として難しい課題である。 既存のトレーニング戦略は信頼できない勾配推定や不正確な文表現に悩まされる。 スパース符号化の原理に着想を得て,識別器への入力として意味解釈可能な文表現を生成するスパースGANを提案する。 重要なアイデアは、埋め込み行列を超完全辞書として扱い、選択された単語埋め込みの線形結合を使用して、各時間ステップでジェネレータの出力特徴表現を近似するというものだ。 このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。 複数のテキスト生成データセットの実験は、特にBLEUのようなシーケンスレベルのメトリクスにおいて、パフォーマンスの改善をもたらす。

関連論文リスト

• LRANet: Towards Accurate and Efficient Scene Text Detection with Low-Rank Approximation Network [63.554061288184165]
  低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。 異なるテキストの輪郭間の形状相関を探索することにより, 形状表現における一貫性, コンパクト性, 単純性, 頑健性を実現する。 我々はLRANetという名前の正確で効率的な任意の形状のテキスト検出器を実装した。
  論文  参考訳（メタデータ） (2023-06-27T02:03:46Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Interpreting intermediate convolutional layers in unsupervised acoustic word classification [0.0]
  本稿では、教師なし深層畳み込みニューラルネットワークの中間層を可視化し、解釈する手法を提案する。 GANベースのアーキテクチャ(ciwGAN arXiv:2006.02951)はTIMITの未ラベルのスライスされた語彙で訓練された。
  論文  参考訳（メタデータ） (2021-10-05T21:53:32Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)
• The Interpretable Dictionary in Sparse Coding [4.205692673448206]
  我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。 スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
  論文  参考訳（メタデータ） (2020-11-24T00:26:40Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。