論文の概要: For Generated Text, Is NLI-Neutral Text the Best Text?

• arxiv url: http://arxiv.org/abs/2302.08577v3
• Date: Sat, 20 Jan 2024 02:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 22:14:55.678363
• Title: For Generated Text, Is NLI-Neutral Text the Best Text?
• Title（参考訳）: 生成テキストに対して、nli-ニュートラルテキストは最良のテキストか?
• Authors: Michail Mersinias, Kyle Mahowald
• Abstract要約: GPT-JのためのNLIインフォームド生成法を開発した。 我々は,核サンプリングランダム性パラメータ値が高い場合に,エンテーメントの最大化のためのNLI戦略がテキスト生成を改善することを発見した。
• 参考スコア（独自算出の注目度）: 14.848007760540556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore incorporating natural language inference (NLI) into the text generative pipeline by using a pre-trained NLI model to assess whether a generated sentence entails, contradicts, or is neutral to the prompt and preceding text. First, we show that the NLI task is predictive of generation errors made by GPT-3. We use these results to develop an NLI-informed generation procedure for GPT-J. Then, we evaluate these generations by obtaining human annotations on error types and overall quality. We find that an NLI strategy of maximizing entailment improves text generation when the nucleus sampling randomness parameter value is high, while one which maximizes contradiction is in fact productive when the parameter value is low. Overall, though, we demonstrate that an NLI strategy of maximizing the neutral class provides the highest quality of generated text (significantly better than the vanilla generations), regardless of parameter value.
• Abstract（参考訳）: テキスト生成パイプラインに自然言語推論(nli)を組み込んで,学習済みのnliモデルを用いて,生成した文が文に含まれるか,矛盾しているか,あるいはプロンプト文と先行文に中立であるかを評価する。 まず NLI タスクは GPT-3 による生成エラーの予測であることを示す。 GPT-JのためのNLIインフォームド生成手法を開発した。 そして,これらの世代を,エラータイプと全体的な品質に関する人間のアノテーションを用いて評価する。 その結果,nli戦略では,核サンプリング乱数パラメータ値が高い場合にはテキスト生成が改善され,パラメータ値が低い場合には矛盾を最大化する戦略が実際に生産的であることがわかった。 しかし,全体としては,中性クラスを最大化するnli戦略が,パラメータ値によらず,生成テキストの最高品質(バニラ世代よりも優れている)を提供することを示した。

関連論文リスト

• CoNT: Contrastive Neural Text Generation [83.06110291932751]
  対照的なニューラルテキスト生成フレームワークであるCoNTが紹介される。 CoNTは、コントラスト学習が生成タスクで広く採用されるのを防ぐボトルネックに対処する。 我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5世代タスクで検証する。
  論文  参考訳（メタデータ） (2022-05-29T15:18:37Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Discourse-Aware Prompt Design for Text Generation [13.835916386769474]
  そこで本研究では, 簡易かつ効率的な手法により, プロンプトベースの条件付きテキスト生成を改善することができることを示す。 まず、人文テキストの高レベルな談話構造を、プレフィックスパラメータのテクスチャ階層的ブロッキングでモデル化できることを示す。 第2に,ネットワークの各レイヤにおけるプレフィックスパラメータのテキスト分割間隔を導入し,ソフトマックス関数のスパース変換を学習することで,スパースプレフィックスチューニングを提案する。
  論文  参考訳（メタデータ） (2021-12-10T18:15:44Z)
• OptAGAN: Entropy-based finetuning on text VAE-GAN [1.941730292017383]
  最近、変分オートエンコーダ(VAE)がリリースされた。 BERTとGPT-2の2つの事前訓練モデルを組み合わせている。 独創的だが、非常に人間らしい文体を創出する。
  論文  参考訳（メタデータ） (2021-09-01T08:23:19Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• GenAug: Data Augmentation for Finetuning Text Generators [21.96895115572357]
  本稿では,Yelp Reviews のサブセット上で GPT-2 を微調整するための外部知識を含む様々な拡張手法を提案し,評価する。 実験により,文字レベルの合成ノイズの挿入とハイパーネムのキーワード置換が効果的な拡張法であることを実証した。
  論文  参考訳（メタデータ） (2020-10-05T05:46:39Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
  本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。 提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
  論文  参考訳（メタデータ） (2020-04-07T00:24:35Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。