論文の概要: Pre-Trained Language Models for Keyphrase Prediction: A Review

• arxiv url: http://arxiv.org/abs/2409.01087v1
• Date: Mon, 2 Sep 2024 09:15:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:38:47.738475
• Title: Pre-Trained Language Models for Keyphrase Prediction: A Review
• Title（参考訳）: キーワード予測のための事前学習言語モデル:レビュー
• Authors: Muhammad Umair, Tangina Sultana, Young-Koo Lee,
• Abstract要約: キーフレーズ予測(KP)は、その内容を要約できる文書中のキーフレーズを特定するのに不可欠である。 最近の自然言語処理の進歩は、ディープラーニング技術を用いたより効率的なKPモデルを開発した。 本稿では,キーフレーズ予測のための事前学習言語モデル(PLM-KP)の話題を幅広く検討する。
• 参考スコア（独自算出の注目度）: 2.7869482272876622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyphrase Prediction (KP) is essential for identifying keyphrases in a document that can summarize its content. However, recent Natural Language Processing (NLP) advances have developed more efficient KP models using deep learning techniques. The limitation of a comprehensive exploration jointly both keyphrase extraction and generation using pre-trained language models spotlights a critical gap in the literature, compelling our survey paper to bridge this deficiency and offer a unified and in-depth analysis to address limitations in previous surveys. This paper extensively examines the topic of pre-trained language models for keyphrase prediction (PLM-KP), which are trained on large text corpora via different learning (supervisor, unsupervised, semi-supervised, and self-supervised) techniques, to provide respective insights into these two types of tasks in NLP, precisely, Keyphrase Extraction (KPE) and Keyphrase Generation (KPG). We introduce appropriate taxonomies for PLM-KPE and KPG to highlight these two main tasks of NLP. Moreover, we point out some promising future directions for predicting keyphrases.
• Abstract（参考訳）: キーフレーズ予測(KP)は、その内容を要約できる文書中のキーフレーズを特定するのに不可欠である。 しかし、近年の自然言語処理(NLP)の進歩により、ディープラーニング技術を用いたより効率的なKPモデルが開発されている。 事前学習言語モデルを用いたキーフレーズ抽出と生成の併用による包括的探索の制限は,文献における重要なギャップを浮き彫りにし,本研究は,この欠損を橋渡しし,過去の調査の限界に対処するための統一的かつ詳細な分析を提供するよう,我々の調査論文を説得する。 そこで本研究では,キーフレーズ抽出(KPE)とキーフレーズ生成(KPG)の2種類のタスクについて,異なる学習技術(スーパーバイザ,教師なし,半教師付き,自己教師付き)を用いて,大規模テキストコーパスで学習する,キーフレーズ予測のための事前学習言語モデル(PLM-KP)のトピックを広く検討する。 PLM-KPE と KPG に適切な分類法を導入し,これらの2つの NLP の課題を強調した。 さらに,キーフレーズの予測に期待できる今後の方向性を指摘する。

関連論文リスト

• MetaKP: On-Demand Keyphrase Generation [52.48698290354449]
  オンデマンドのキーフレーズ生成は,特定のハイレベルな目標や意図に従うキーフレーズを必要とする新しいパラダイムである。 そこで我々は,4つのデータセット,7500のドキュメント,3760の目標からなる大規模ベンチマークであるMetaKPを紹介した。 ソーシャルメディアからの流行事象検出に応用して,一般のNLP基盤として機能する可能性を示す。
  論文  参考訳（メタデータ） (2024-06-28T19:02:59Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• Unsupervised Keyphrase Extraction via Interpretable Neural Networks [27.774524511005172]
  テキストのトピックを予測するのに最も有用なキーワードは重要なキーワードである。 InSPECTは、影響力のあるキーフレーズを識別するための自己説明型ニューラルネットワークフレームワークである。 InSPECTは4つの異なるデータセットから教師なし鍵抽出を行う。
  論文  参考訳（メタデータ） (2022-03-15T04:30:47Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Learning to Selectively Learn for Weakly-supervised Paraphrase Generation [81.65399115750054]
  弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。 具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。 検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。 提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
  論文  参考訳（メタデータ） (2021-09-25T23:31:13Z)
• UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction [20.26899340581431]
  キーワード予測タスクは、与えられたドキュメントのメインアイデアを要約できるいくつかのキーフレーズを予測することを目的としている。 メインストリームKP法は、純粋に生成的アプローチと、抽出と生成を伴う統合モデルに分類することができる。 キーフレーズの抽出と生成を共同で学習する新しいエンドツーエンド学習フレームワークUniKeyphraseを提案する。
  論文  参考訳（メタデータ） (2021-06-09T07:09:51Z)
• Keyphrase Prediction With Pre-trained Language Model [16.06425973336514]
  我々は,キーフレーズ予測を2つのサブタスク,すなわち,現在キーフレーズ抽出(PKE)と欠キーフレーズ生成(AKG)に分割することを提案する。 PKEでは、事前訓練された言語モデルBERTを用いて、このタスクをシーケンスラベリング問題として扱う。 AKG では,PKE から学んだキーフレーズの知識を細調整した BERT で完全に統合した Transformer ベースのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-22T09:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。