論文の概要: Diverse Keyphrase Generation with Neural Unlikelihood Training

• arxiv url: http://arxiv.org/abs/2010.07665v1
• Date: Thu, 15 Oct 2020 11:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:51:17.675737
• Title: Diverse Keyphrase Generation with Neural Unlikelihood Training
• Title（参考訳）: ニューラル差分訓練による多変量フレーズ生成
• Authors: Hareesh Bahuleyan and Layla El Asri
• Abstract要約: 多様性の観点からシーケンス・ツー・シーケンス(S2S)キーフレーズ生成モデルについて検討した。 我々はまず、最大推定(MLE)を用いて訓練されたベースラインモデルにより生成された出力に含まれる情報冗長度について分析する。
• 参考スコア（独自算出の注目度）: 6.645227801791013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study sequence-to-sequence (S2S) keyphrase generation models from the perspective of diversity. Recent advances in neural natural language generation have made possible remarkable progress on the task of keyphrase generation, demonstrated through improvements on quality metrics such as F1-score. However, the importance of diversity in keyphrase generation has been largely ignored. We first analyze the extent of information redundancy present in the outputs generated by a baseline model trained using maximum likelihood estimation (MLE). Our findings show that repetition of keyphrases is a major issue with MLE training. To alleviate this issue, we adopt neural unlikelihood (UL) objective for training the S2S model. Our version of UL training operates at (1) the target token level to discourage the generation of repeating tokens; (2) the copy token level to avoid copying repetitive tokens from the source text. Further, to encourage better model planning during the decoding process, we incorporate K-step ahead token prediction objective that computes both MLE and UL losses on future tokens as well. Through extensive experiments on datasets from three different domains we demonstrate that the proposed approach attains considerably large diversity gains, while maintaining competitive output quality.
• Abstract（参考訳）: 本稿では,s2s(sequence-to-sequence)キーフレーズ生成モデルについて,多様性の観点から検討する。 ニューラル自然言語生成の最近の進歩は、F1スコアのような品質指標の改善を通じて、キーフレーズ生成のタスクにおいて顕著な進歩をもたらした。 しかし,キーフレーズ生成における多様性の重要性は無視されている。 まず,最大誤差推定 (MLE) を用いて学習したベースラインモデルにより生成された出力に含まれる情報冗長度を解析する。 MLE訓練ではキーフレーズの反復が大きな問題であることがわかった。 この問題を軽減するため、我々はs2sモデルのトレーニングにneural unlikelihood(ul)の目的を採用する。 当社のulトレーニングバージョンは,(1)繰り返しトークンの生成を阻害するターゲットトークンレベル,(2)ソーステキストからの繰り返しトークンのコピーを回避するコピートークンレベルで動作します。 さらに,デコードプロセス中のモデル計画を改善するために,今後のトークンに対するmleとulの損失を計算するkステップ先行トークン予測目標も組み込んだ。 3つの異なる領域のデータセットに関する広範囲な実験を通じて、提案手法が競合する出力品質を維持しつつ、かなり大きな多様性の向上を達成できることを実証する。

関連論文リスト

• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Joint Repetition Suppression and Content Moderation of Large Language Models [4.9990392459395725]
  自然言語生成(NLG)は、NLPにおいて最も影響力のある分野の一つである。 本稿では,トークンとシーケンスレベルを用いた非実効的繰り返し抑制に適用する。 また,攻撃的な単語の生成を避けるために,モデルに協調的に支援するために,違和感のある学習目標の枠組みについても検討する。
  論文  参考訳（メタデータ） (2023-04-20T19:17:49Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。