論文の概要: Sparse Text Generation

• arxiv url: http://arxiv.org/abs/2004.02644v3
• Date: Mon, 5 Oct 2020 11:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 06:36:03.857530
• Title: Sparse Text Generation
• Title（参考訳）: スパーステキスト生成
• Authors: Pedro Henrique Martins and Zita Marinho and Andr\'e F. T. Martins
• Abstract要約: 現在のテキストジェネレータは、修正されたソフトマックスから、温度パラメータや、トップ$k$または核サンプリングのようなアドホックトランケーション技術を介してサンプリングする必要がある。 本稿では,最近導入されたentmax変換を用いて,スパース言語モデルのトレーニングとサンプルを行い,このミスマッチを回避する。 その結果、流布と一貫性、繰り返しの少ない、人間のテキストに近いn-gramの多様性の観点から、良好なパフォーマンスを持つテキストジェネレータが実現した。
• 参考スコア（独自算出の注目度）: 7.747003493657217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art text generators build on powerful language models such as GPT-2, achieving impressive performance. However, to avoid degenerate text, they require sampling from a modified softmax, via temperature parameters or ad-hoc truncation techniques, as in top-$k$ or nucleus sampling. This creates a mismatch between training and testing conditions. In this paper, we use the recently introduced entmax transformation to train and sample from a natively sparse language model, avoiding this mismatch. The result is a text generator with favorable performance in terms of fluency and consistency, fewer repetitions, and n-gram diversity closer to human text. In order to evaluate our model, we propose three new metrics for comparing sparse or truncated distributions: $\epsilon$-perplexity, sparsemax score, and Jensen-Shannon divergence. Human-evaluated experiments in story completion and dialogue generation show that entmax sampling leads to more engaging and coherent stories and conversations.
• Abstract（参考訳）: 現在の最先端テキストジェネレータは、gpt-2のような強力な言語モデル上に構築されており、素晴らしいパフォーマンスを実現している。 しかし、縮退するテキストを避けるためには、温度パラメータや、トップ$k$や核サンプリングのようなアドホックな切断技術を介して、修正ソフトマックスからサンプリングする必要がある。 これにより、トレーニングとテスト条件のミスマッチが発生します。 本稿では、最近導入されたentmax変換を用いて、ネイティブなスパース言語モデルのトレーニングとサンプルを行い、このミスマッチを回避する。 その結果、流布と一貫性、繰り返しの少ない、人間のテキストに近いn-gramの多様性の観点から、良好なパフォーマンスを持つテキストジェネレータが実現した。 モデルを評価するために,sparse 分布と truncated 分布を比較するために,$\epsilon$-perplexity,sparsemax スコア,jensen-shannon 分岐の3つの新しい指標を提案する。 ストーリーの完成と対話の生成における人間による評価実験は、entmaxサンプリングがより熱心でコヒーレントなストーリーや会話につながることを示している。

関連論文リスト

• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity [16.893758238773263]
  少数のトレーニングサンプルしか持たなかった場合、GPT-3のような非常に大きな事前訓練された言語モデルは、競争力のある結果を示した。 サンプルが提供される順序は、ほぼ最先端の予測性能とランダムな推測性能の差であることを示す。 言語モデルの生成特性を利用して人工的な開発セットを構築し、このセットから候補置換のエントロピー統計に基づいて、実行者プロンプトを同定する。
  論文  参考訳（メタデータ） (2021-04-18T09:29:16Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Distributional Discrepancy: A Metric for Unconditional Text Generation [6.6159481812419045]
  非条件テキスト生成の目的は、実際の文でモデルを訓練し、トレーニングデータと同じ品質と多様性の新規な文を生成することである。 生成した訓練文と実際の訓練文の相違に基づいて, 生成物を評価するために, 分散不一致(DD)の新たな指標を考案した。 DDは、これらの生成モデルをランキングする上で、既存の3つの指標よりもはるかに優れている。
  論文  参考訳（メタデータ） (2020-05-04T05:53:34Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。