Fugu-MT 論文翻訳(概要): Improving Adversarial Text Generation by Modeling the Distant Future

論文の概要: Improving Adversarial Text Generation by Modeling the Distant Future

arxiv url: http://arxiv.org/abs/2005.01279v1
Date: Mon, 4 May 2020 05:45:13 GMT
ステータス: 処理完了
システム内更新日: 2022-12-07 00:12:55.893353
Title: Improving Adversarial Text Generation by Modeling the Distant Future
Title（参考訳）: 遠隔未来モデリングによるテキスト生成の改善
Authors: Ruiyi Zhang, Changyou Chen, Zhe Gan, Wenlin Wang, Dinghan Shen, Guoyin Wang, Zheng Wen, Lawrence Carin
Abstract要約: テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
参考スコア（独自算出の注目度）: 155.83051741029732
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Auto-regressive text generation models usually focus on local fluency, and may cause inconsistent semantic meaning in long text generation. Further, automatically generating words with similar semantics is challenging, and hand-crafted linguistic rules are difficult to apply. We consider a text planning scheme and present a model-based imitation-learning approach to alleviate the aforementioned issues. Specifically, we propose a novel guider network to focus on the generative process over a longer horizon, which can assist next-word prediction and provide intermediate rewards for generator optimization. Extensive experiments demonstrate that the proposed method leads to improved performance.
Abstract（参考訳）: 自動回帰テキスト生成モデルは通常、局所的な流布に焦点を当て、長文生成において一貫性のない意味を生じることがある。さらに、類似した意味を持つ単語の自動生成は困難であり、手作りの言語規則の適用は困難である。テキスト計画手法を検討し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。具体的には,次の単語の予測を補助し,ジェネレータ最適化のための中間的な報酬を与える,より長い地平線上の生成過程に焦点をあてた新しいガイドネットワークを提案する。広範な実験により,提案手法が性能向上に繋がることが示された。

関連論文リスト

Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
論文参考訳（メタデータ） (2024-10-17T12:43:49Z)
PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
論文参考訳（メタデータ） (2023-06-05T01:36:39Z)
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
論文参考訳（メタデータ） (2022-03-17T05:52:35Z)
Improving Text Auto-Completion with Next Phrase Prediction [9.385387026783103]
我々の戦略は、Next Phrase Prediction (NPP)と呼ばれる新しい自己指導型トレーニング目標を含む。予備実験により,メールや学術書記ドメインの自動補完において,本手法がベースラインより優れていることが示された。
論文参考訳（メタデータ） (2021-09-15T04:26:15Z)
Reinforced Generative Adversarial Network for Abstractive Text Summarization [7.507096634112164]
シーケンス・ツー・シーケンス・モデルは、生成的要約に対する実行可能な新しいアプローチを提供する。これらのモデルには3つの欠点がある: 原文の詳細の把握はしばしば不正確なものであり、そのようなモデルによって生成されたテキストは繰り返しとなることが多い。本稿では,強化学習と敵対的生成ネットワークを組み合わせた新しいアーキテクチャを提案し,シーケンス・ツー・シーケンス・アテンション・モデルを提案する。
論文参考訳（メタデータ） (2021-05-31T17:34:47Z)
Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
論文参考訳（メタデータ） (2021-05-19T07:29:08Z)
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
近年,非並列テキストスタイルの転送が研究の関心を集めている。現在のアプローチでは、元の文の内容やロジックを保存できない。文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
論文参考訳（メタデータ） (2021-02-01T11:08:45Z)
Controllable Text Simplification with Explicit Paraphrasing [88.02804405275785]
テキストの単純化は、語彙パラフレーズ、削除、分割など、いくつかの書き換え変換を通じて文の可読性を向上させる。現在の単純化システムは、主にシーケンス・ツー・シーケンスのモデルであり、これらすべての操作を同時に実行するためにエンドツーエンドで訓練されている。そこで我々は,言語的に動機づけられた規則を用いて分割と削除を行い,それらをニューラルパラフレーズモデルと組み合わせて様々な書き直しスタイルを創出するハイブリッド手法を提案する。
論文参考訳（メタデータ） (2020-10-21T13:44:40Z)
Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文参考訳（メタデータ） (2020-10-12T19:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。