論文の概要: Keyphrase Prediction With Pre-trained Language Model

• arxiv url: http://arxiv.org/abs/2004.10462v1
• Date: Wed, 22 Apr 2020 09:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 18:15:14.355294
• Title: Keyphrase Prediction With Pre-trained Language Model
• Title（参考訳）: 事前学習した言語モデルによるキーフレーズ予測
• Authors: Rui Liu, Zheng Lin, Weiping Wang
• Abstract要約: 我々は,キーフレーズ予測を2つのサブタスク,すなわち,現在キーフレーズ抽出(PKE)と欠キーフレーズ生成(AKG)に分割することを提案する。 PKEでは、事前訓練された言語モデルBERTを用いて、このタスクをシーケンスラベリング問題として扱う。 AKG では,PKE から学んだキーフレーズの知識を細調整した BERT で完全に統合した Transformer ベースのアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 16.06425973336514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, generative methods have been widely used in keyphrase prediction, thanks to their capability to produce both present keyphrases that appear in the source text and absent keyphrases that do not match any source text. However, the absent keyphrases are generated at the cost of the performance on present keyphrase prediction, since previous works mainly use generative models that rely on the copying mechanism and select words step by step. Besides, the extractive model that directly extracts a text span is more suitable for predicting the present keyphrase. Considering the different characteristics of extractive and generative methods, we propose to divide the keyphrase prediction into two subtasks, i.e., present keyphrase extraction (PKE) and absent keyphrase generation (AKG), to fully exploit their respective advantages. On this basis, a joint inference framework is proposed to make the most of BERT in two subtasks. For PKE, we tackle this task as a sequence labeling problem with the pre-trained language model BERT. For AKG, we introduce a Transformer-based architecture, which fully integrates the present keyphrase knowledge learned from PKE by the fine-tuned BERT. The experimental results show that our approach can achieve state-of-the-art results on both tasks on benchmark datasets.
• Abstract（参考訳）: 近年、キーフレーズ予測において、ソーステキストに現れる現在のキーフレーズと、ソーステキストにマッチしないキーフレーズの両方を生成する能力により、生成手法が広く使われている。 しかし、先行研究は主に複写機構と選択語を段階的に踏襲する生成モデルを用いているため、現在のキーフレーズ予測の性能を犠牲にして、欠落したキーフレーズが生成される。 さらに、テキストスパンを直接抽出する抽出モデルは、現在のキーフレーズを予測するのにより適している。 抽出法と生成法の違いを考慮して,キーフレーズ予測を2つのサブタスク,すなわち現在キーフレーズ抽出(PKE)と欠キーフレーズ生成(AKG)に分割し,それぞれの利点をフル活用することを提案する。 この観点から、BERTを2つのサブタスクで活用するために、共同推論フレームワークが提案されている。 PKEでは、事前学習された言語モデルBERTのシーケンスラベル問題としてこの問題に取り組む。 AKG では,PKE から学んだキーフレーズの知識を細調整した BERT で完全に統合した Transformer ベースのアーキテクチャを提案する。 実験の結果,ベンチマークデータセットの両タスクにおいて最先端の結果が得られることがわかった。

関連論文リスト

• Pre-Trained Language Models for Keyphrase Prediction: A Review [2.7869482272876622]
  キーフレーズ予測(KP)は、その内容を要約できる文書中のキーフレーズを特定するのに不可欠である。 最近の自然言語処理の進歩は、ディープラーニング技術を用いたより効率的なKPモデルを開発した。 本稿では,キーフレーズ予測のための事前学習言語モデル(PLM-KP)の話題を幅広く検討する。
  論文  参考訳（メタデータ） (2024-09-02T09:15:44Z)
• MetaKP: On-Demand Keyphrase Generation [52.48698290354449]
  オンデマンドのキーフレーズ生成は,特定のハイレベルな目標や意図に従うキーフレーズを必要とする新しいパラダイムである。 そこで我々は,4つのデータセット,7500のドキュメント,3760の目標からなる大規模ベンチマークであるMetaKPを紹介した。 ソーシャルメディアからの流行事象検出に応用して,一般のNLP基盤として機能する可能性を示す。
  論文  参考訳（メタデータ） (2024-06-28T19:02:59Z)
• SimCKP: Simple Contrastive Learning of Keyphrase Representations [36.88517357720033]
  そこで本論文では,(1)文脈認識型フレーズレベルの表現からキーフレーズを抽出する抽出器・ジェネレータと,(2)生成したフレーズのスコアを対応する文書と整列させることで,文書に現れないキーフレーズを生成するリランカと,の2つの段階からなる単純なコントラスト学習フレームワークであるSimCKPを提案する。
  論文  参考訳（メタデータ） (2023-10-12T11:11:54Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• Deep Keyphrase Completion [59.0413813332449]
  Keyphraseは、非常にコンパクトで簡潔で、意味に満ちた文書内容の正確な情報を提供し、談話理解、組織化、テキスト検索に広く利用されている。 本論文では,文書内容と既知のキーフレーズの数が極めて限られているため,テキストキーフレーズの完全化(KPC)を提案し,文書中のキーフレーズをより多く生成する(科学出版など)。 深層学習フレームワークを通じて、既知のキーフレーズとともに文書内容の深い意味的意味を捉えようとすることから、textitdeep keyphrase completion (DKPC) と命名する。
  論文  参考訳（メタデータ） (2021-10-29T07:15:35Z)
• UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction [20.26899340581431]
  キーワード予測タスクは、与えられたドキュメントのメインアイデアを要約できるいくつかのキーフレーズを予測することを目的としている。 メインストリームKP法は、純粋に生成的アプローチと、抽出と生成を伴う統合モデルに分類することができる。 キーフレーズの抽出と生成を共同で学習する新しいエンドツーエンド学習フレームワークUniKeyphraseを提案する。
  論文  参考訳（メタデータ） (2021-06-09T07:09:51Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• Exclusive Hierarchical Decoding for Deep Keyphrase Generation [63.357895318562214]
  キーフレーズ生成(KG)は、文書の主要なアイデアをキーフレーズの集合にまとめることを目的としている。 この設定の以前の作業では、キーフレーズを生成するためのシーケンシャルなデコードプロセスが使用されている。 本稿では,階層的復号化プロセスとソフトかハードかのいずれかを含む排他的階層的復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-18T02:58:00Z)
• Keyphrase Extraction with Span-based Feature Representations [13.790461555410747]
  キーフレーズは、文書を特徴付ける意味メタデータを提供することができる。 キーフレーズ抽出のための3つのアプローチ: (i) 従来の2段階ランキング法、 (ii) シーケンスラベリング、 (iii) ニューラルネットワークを用いた生成。 本稿では,すべてのコンテンツトークンから直接,キーフレーズのスパン的特徴表現を抽出する新規スパンキーフレーズ抽出モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-13T09:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。