論文の概要、ライセンス

# (参考訳) UniKeyphrase: キーワード予測のための統一抽出および生成フレームワーク [全文訳有]

UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction ( http://arxiv.org/abs/2106.04847v1 )

ライセンス: CC BY 4.0
Huanqin Wu, Wei Liu, Lei Li, Dan Nie, Tao Chen, Feng Zhang, Di Wang(参考訳) キーフレーズ予測(KP)タスクは、与えられた文書の主観を要約できるいくつかのキーフレーズを予測することを目的としている。 主流KP法は純粋に生成的アプローチと抽出と生成を伴う統合モデルに分類することができる。 しかし、これらの手法はキーフレーズ間の多様性を無視したり、暗黙的にタスク間の関係を弱く捉えるだけである。 本論文では,キーフレーズの抽出と生成を共同で学習する新しいエンドツーエンド学習フレームワークUniKeyphraseを提案する。 unikeyphraseでは、モデル構造とトレーニングプロセスの観点から、抽出と生成の間の潜在意味関係を十分に活用するために、積み重ね関係層とバガオブワード制約が提案されている。 KPベンチマークの実験は、我々の共同アプローチが主流の手法よりも大きなマージンで優れていることを示した。

Keyphrase Prediction (KP) task aims at predicting several keyphrases that can summarize the main idea of the given document. Mainstream KP methods can be categorized into purely generative approaches and integrated models with extraction and generation. However, these methods either ignore the diversity among keyphrases or only weakly capture the relation across tasks implicitly. In this paper, we propose UniKeyphrase, a novel end-to-end learning framework that jointly learns to extract and generate keyphrases. In UniKeyphrase, stacked relation layer and bag-of-words constraint are proposed to fully exploit the latent semantic relation between extraction and generation in the view of model structure and training process, respectively. Experiments on KP benchmarks demonstrate that our joint approach outperforms mainstream methods by a large margin.
公開日: Wed, 9 Jun 2021 07:09:51 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
UniKeyphrase: A Unified Extraction and Generation Framework for UniKeyphrase: 統一された抽出および生成フレームワーク 0.78
Keyphrase Prediction Huanqin Wu1∗, Wei Liu1∗, Lei Li2, Dan Nie1, Tao Chen1, Feng Zhang 1, Di Wang 1 キーフレーズ予測 Huanqin Wu1∗, Wei Liu1∗, Lei Li2, Dan Nie1, Tao Chen1, Feng Zhang 1, Di Wang 1 0.86
{huanqinwu,thinkweeli u,kathynie,vitochen, jayzhang,diwang}@tencent.com huanqinwu,thinkweeli u,kathynie,vitochen, jayzhang,diwang}@tencent.com 0.89
2Beijing University of Posts and Telecommunications 2Beijing University of Posts and Telecommunications 0.97
1Tencent AI Platform Department, China 中国の1tencent aiプラットフォーム部門 0.78
leili@bupt.edu.cn leili@bupt.edu.cn 0.59
1 2 0 2 n u J 1 2 0 2 n u J 0.85
9 ] L C . s c [ 9 ]LC。 sc [ 0.60
1 v 7 4 8 4 0 1 v 7 4 8 4 0 0.85
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract Keyphrase Prediction (KP) task aims at predicting several keyphrases that can summarize the main idea of the given document. 概要 キーフレーズ予測(KP)タスクは、与えられた文書の主観を要約できるいくつかのキーフレーズを予測することを目的としている。
訳抜け防止モード: 概要 keyphrase prediction (kp )タスクの目標 与えられた文書の主概念を要約できるいくつかのキーフレーズを予測する。
0.62
Mainstream KP methods can be categorized into purely generative approaches and integrated models with extraction and generation. 主流KP法は純粋に生成的アプローチと抽出と生成を伴う統合モデルに分類することができる。 0.76
However, these methods either ignore the diversity among keyphrases or only weakly capture the relation across tasks implicitly. しかし、これらの手法はキーフレーズ間の多様性を無視したり、暗黙的にタスク間の関係を弱く捉えるだけである。 0.53
In this paper, we propose UniKeyphrase, a novel end-to-end learning framework that jointly learns to extract and generate keyphrases. 本論文では,キーフレーズの抽出と生成を共同で学習する新しいエンドツーエンド学習フレームワークUniKeyphraseを提案する。 0.84
In UniKeyphrase, stacked relation layer and bagof-words constraint are proposed to fully exploit the latent semantic relation between extraction and generation in the view of model structure and training process, respectively. unikeyphraseでは、モデル構造とトレーニングプロセスの観点から抽出と生成の間の潜在意味関係を十分に活用するために、積み重ね関係層とバゴフワード制約が提案されている。 0.74
Experiments on KP benchmarks demonstrate that our joint approach outperforms mainstream methods by a large margin. KPベンチマークの実験は、我々の共同アプローチが主流の手法よりも大きなマージンで優れていることを示した。
訳抜け防止モード: KPベンチマークの実験では 我々の共同アプローチは 主流の手法より はるかに優れています
0.71
Introduction 1 Keyphrases are several phrases that highlight core topics or information of a document. はじめに 1 キーワードは、ドキュメントの中核となるトピックや情報を強調するいくつかのフレーズです。 0.58
Given a document, the KP task focuses on automatically obtaining a set of keyphrases. ドキュメントが与えられた場合、kpタスクはキーフレーズのセットを自動的に取得することにフォーカスする。 0.61
As a basic NLP task, keyphrase prediction is useful for numerous downstream NLP tasks such as summarization (Wang and Cardie, 2013; Pasunuru and Bansal, 2018), document clustering (Hulth and Megyesi, 2006), information retrieval (Kim et al , 2013). 基本的なNLPタスクとして、キーフレーズ予測は、要約(Wang and Cardie, 2013; Pasunuru and Bansal, 2018)、文書クラスタリング(Hulth and Megyesi, 2006)、情報検索(Kim et al , 2013)など、多くの下流NLPタスクに有用である。 0.76
Keyphrases of a document fall into two categories: present keyphrase that appears continuously in the document, and absent keyphrase which does not exist in the document. 文書のキーフレーズは、文書に連続的に現れる現在のキーフレーズと、文書に存在しないキーフレーズの2つのカテゴリに分類される。 0.85
Figure 1 shows an example of a document and its keyphrases. 図1は文書とそのキーフレーズの例を示します。 0.89
Traditional KP methods are mainly extractive, which have been extensively researched in past decades (Witten et al , 2005; Nguyen and Kan, 2007; Medelyan 従来のKP法は主に抽出法であり、過去数十年にわたって広く研究されてきた(Witten et al , 2005; Nguyen and Kan, 2007; Medelyan)。 0.77
∗ Equal contribution. Figure 1: An example of an input document and its expected keyphrases. 等しく貢献する。 図1: 入力ドキュメントとその期待されるキーフレーズの例。 0.67
Blue and red denote present and absent keyphrases, respectively. 青と赤は、それぞれ現在および欠落したキーフレーズを表す。 0.67
et al , 2009; Lopez and Romary, 2010; Zhang et al , 2016; Alzaidy et al , 2019; Sun et al , 2020). al al , 2009; Lopez and Romary, 2010; Zhang et al , 2016; Alzaidy et al , 2019; Sun et al , 2020)。 0.79
These methods aim to select text spans or phrases directly in the document, which show promising results on present keyphrase prediction. これらの手法は文書内で直接テキストスパンやフレーズを選択することを目的としており、現在のキーフレーズ予測において有望な結果を示す。 0.60
However, extractive methods cannot handle the absent keyphrase, which is also significant and requires a comprehensive understanding of document. しかし、抽出法は欠落したキーフレーズを処理できないため、文書の包括的理解も必要となる。 0.68
To mitigate this issue, several generative methods (Meng et al , 2017; Chen et al , 2018; Ye and Wang, 2018; Wang et al , 2019; Chen et al , 2019b; Chan et al , 2019; Zhao and Zhang, 2019; Chen et al , 2020; Yuan et al , 2020) have been proposed. この問題を緩和するために、いくつかの生成方法(Meng et al , 2017; Chen et al , 2018; Ye and Wang, 2018; Wang et al , 2019; Chen et al , 2019b; Chan et al , 2019; Zhao and Zhang, 2019; Chen et al , 2020; Yuan et al , 2020)が提案されている。 0.95
Generative methods mainly adopt the sequenceto-sequence (seq2seq) model with a copy mechanism to predict a target sequence, which is concatenated of present and absent keyphrases. 生成法は主にシークエンス(seq2seq)モデルとコピー機構を用いて、現在および欠落したキーフレーズを連結したターゲットシーケンスを予測する。 0.83
Therefore, the generative approach can predict both kinds of keyphrases. したがって、生成的アプローチは両方のキーフレーズを予測できる。 0.77
But these methods treat present and absent keyphrases equally, while these two kinds of keyphrase actually have different semantic properties. しかし、これらの手法は、現在および欠落したキーフレーズを等しく扱う一方、これらの2種類のキーフレーズは実際には異なる意味的特性を持つ。
訳抜け防止モード: しかしこれらの手法は、現在および欠落したキーフレーズを等しく扱う。 この2つのキーフレーズは 意味が違うのです
0.63
As illustrated in Figure 1, all the present keyphrases are specific techniques, while the absent keyphrases are tasks or research areas. 図1に示すように、現在のキーフレーズはすべて特定の技術であり、欠落しているキーフレーズはタスクまたは研究領域である。
訳抜け防止モード: 図1に示すように、現在のキーフレーズはすべて特定のテクニックです。 欠落したキーワードはタスクや研究エリアです
0.79
Thus several integrated methods (Chen et al , 2019a; Ahmad et al , 2020) try to perform multi- このように、いくつかの統合手法(chen et al , 2019a , ahmad et al , 2020)が複数実行を試みる。 0.69
Document: On selecting an optimal wavelet for detecting singularities in traffic and vehicular data. 資料:交通・車両データにおける特異点検出のための最適ウェーブレットの選択について 0.65
…… applications of wavelet transform s ( wts ) in traffic engineering have been introduced however ,…… , second order difference , oblique cumulative curve , and short time fourier transform) . しかし、交通工学におけるウェーブレット変換 s ( wts ) の応用は、 , ... , second order difference , oblique cumulative curve , short time fourier transform) である。 0.84
it then mathematically describes wts ability to detect singularities in traffic data .…… , it is shown that selecting a suitable wavelet largely depends on the specific research topic , and that the mexican hat wavelet generally gives a satisfactory performance in detecting singularities in traffic and vehicular data .Present keyphrases: {wavelet transform, oblique cumulative curve, short time fourier,the mexican hat wavelet} Absent keyphrases: { singularity detection, traffic data analysis } 次に、wtsが交通データの特異点を検出する能力について数学的に記述する ....... 、適切なウェーブレットの選択は、主に特定の研究トピックに依存すること、および一般的にメキシコのハットウェーブレットは、交通と車両のデータにおける特異点を検出するのに満足できる性能をもたらすことが示されている。
訳抜け防止モード: 次に、wtsがトラフィックデータの特異点を検出する能力を数学的に記述する。 あの... どうやら 適切なウェーブレットを選択することは、主に特定の研究トピックに依存する。 そして、メキシコの帽子ウェーブレットは、一般的に交通や車体データの特異点を検出するのに十分な性能を与える。 :ウェーブレット変換,斜め累積曲線,短時間フーリエ the mexican hat wavelet } Absent keyphrases : { singularity detection, traffic data analysis]
0.68
英語(論文から抽出)日本語訳スコア
task learning on present keyphrase extraction (PKE) and absent keyphrase generation (AKG). 現在キーフレーズ抽出(PKE)および欠キーフレーズ生成(AKG)におけるタスク学習。 0.76
By treating present and absent keyphrase prediction as different tasks, integrated methods clearly distinguish the semantic properties for these two kinds of keyphrases. キーフレーズ予測を異なるタスクとして扱うことにより,これら2種類のキーフレーズの意味的特性を明確に区別する。 0.71
But integrated models suffer from two limitations. しかし、統合モデルには2つの制限がある。 0.58
Firstly, these approaches are not trained in an end-to-end fashion, which causes error accumulation in the pipeline. まず、これらのアプローチはエンドツーエンドでトレーニングされないため、パイプラインにエラーが蓄積される。 0.62
Secondly, integrated methods just adopt a bottom shared encoder to implicitly capture the latent semantic relation between PKE and AKG, while this relation is essential for the KP task. 第二に、統合手法はpkeとakgの間の潜在意味関係を暗黙的に捉えるためにボトム共有エンコーダを採用するだけであり、kpタスクにはこの関係が不可欠である。 0.56
As illustrated in Figure 1, the ground truth of PKE are specific techniques, which are all used for the “singularity detection” task in the “traffic data analysis” area. 図1に示すように、PKEの基本的真理は特定の技術であり、これらはすべて“交通データ分析”領域の“特異性検出”タスクに使用される。 0.76
Such semantic relation between PKE and AKG can bring benefits for KP. PKEとAKGのこのような意味関係は、KPに利益をもたらす。 0.55
Actually, semantic relations like “technique-task-area” between two tasks are common in the KP task. 実際、2つのタスク間の“技術的タスクエリア”のようなセマンティックな関係は、kpタスクでは一般的です。 0.48
However, these integrated methods are weak at modeling it. しかし、これらの統合メソッドはモデリングに弱い。 0.66
To address these issues, we propose a novel endto-end joint model, UniKeyphrase, which adopts a unified pretrained language model as the backbone and is fine-tuned with both PKE and AKG tasks. これらの課題に対処するために,統一事前学習言語モデルをバックボーンとして採用し,PKEタスクとAKGタスクの両方を微調整した,新しいエンドツーエンドジョイントモデルUniKeyphraseを提案する。 0.67
What’s more, UniKeyphrase explicitly captures the mutual relation between these two tasks, which brings benefits for keyphrase prediction: present keyphrases can provide an overall sense about salient parts of the document for AKG, and absent keyphrases viewed as high-level latent topics of the document can also supply PKE with global semantic information. さらに、unikeyphraseは、これらの2つのタスク間の相互関係を明示的に捉えており、キーフレーズ予測の利点をもたらす。 現在のキーフレーズは、ドキュメントの有意な部分に関する全体的な感覚を akg に提供でき、ドキュメントの高レベルな潜在トピックと見なされるキーフレーズの欠如は、pke にグローバルな意味情報を提供することもできる。 0.62
Specifically, UniKeyphrase employs two mechanisms to capture the relation from model structure and training process, respectively. 特に、unikeyphraseは、それぞれモデル構造とトレーニングプロセスの関係を捉える2つのメカニズムを採用している。
訳抜け防止モード: 具体的には、UniKeyphraseには2つのメカニズムがある モデル構造とトレーニングプロセスの関係を捉えます
0.83
Firstly, stacked relation layer is applied to repeatedly fuse PKE and AKG task representations to explicitly model the relation between the two sub-tasks. まず、重ね合わせ関係層を繰り返しpkeとakgタスク表現を融合させ、2つのサブタスク間の関係を明示的にモデル化する。 0.63
In detail, we adopt a co-attention based relation network to model the co-influence. 詳細は、コ・アテンションに基づく関係ネットワークを用いて、コ・インフルエンスをモデル化する。 0.48
Secondly, a bag-of-words constraint is designed for UniKeyphrase, which aims to provide some auxiliary global information of the whole keyphrases set during training. 2つ目は、トレーニング中に設定されたキーフレーズ全体の補助的なグローバル情報を提供することを目的としている。 0.68
Experiments conducted on the widely used public datasets show that our method significantly outperforms mainstream generative and integrative models. 広く利用されている公開データセットを用いて行った実験により,本手法は主流生成モデルや積分モデルよりも著しく優れていた。
訳抜け防止モード: 広く使われている公開データセットの実験は、 我々の手法は 主要な生成モデルと 統合モデルを大きく上回っています
0.67
The contributions of this paper can be summarized as follows: 本論文の貢献は以下のとおりである。 0.64
• We introduce a novel end-to-end framework •新しいエンドツーエンドフレームワークを導入する 0.73
UniKeyphrase for unified PKE and AKG. UniKeyphrase for unified PKE and AKG 0.68
• We design stacked relation layer (SRL) to explicitly capture the relation between PKE and AKG. • PKE と AKG の関係を明示的に捉えるために,重ね合わせ関係層 (SRL) を設計した。 0.79
• We propose bag-of-words constraint (BWC) to explicitly feed global information about present and absent keyphrases to the model. • 現在および不在なキーフレーズに関するグローバル情報をモデルに明示的に供給するためのback-of-words constraint (BWC)を提案する。 0.68
2 Related Works 2.1 Keyphrase Extraction 関連作品2件 2.1 キーワード抽出 0.70
Most existing extraction approaches can be categorized into two-step extraction methods and sequence labeling approaches. 既存のほとんどの抽出手法は2段階抽出法とシーケンスラベリング法に分類できる。 0.75
Two-step extraction methods first identify a set of candidate phrases from the document by heuristics, such as essential n-grams or noun phrase (Hulth, 2003). 2段階抽出法はまず、本質的なn-gramや名詞句などのヒューリスティックスによって文書から候補句の集合を識別する(Hulth, 2003)。 0.66
Then, the candidate keyphrases are sorted and ranked to get predicted results. そして、候補キーフレーズをソートしてランク付けし、予測結果を得る。 0.68
The scores can be learned by either supervised algorithms (Nguyen and Kan, 2007; Medelyan et al , 2009; Lopez and Romary, 2010) or unsupervised graph ranking methods (Mihalcea and Tarau, 2004; Wan and Xiao, 2008). スコアは教師付きアルゴリズム(Nguyen and Kan, 2007; Medelyan et al , 2009; Lopez and Romary, 2010)または教師なしグラフランキング法(Mihalcea and Tarau, 2004; Wan and Xiao, 2008)によって学習することができる。 0.83
For sequence labeling approaches, documents are fed to an encoder then the model learns to predict the likelihood of each word being a keyphrase (Zhang et al , 2016; Alzaidy et al , 2019; Sun et al , 2020). シーケンスラベリングアプローチでは、ドキュメントはエンコーダに送られ、各単語がキーフレーズである可能性を予測する(Zhang et al , 2016; Alzaidy et al , 2019; Sun et al , 2020)。 0.65
2.2 Keyphrase Generation 2.2 キーフレーズ生成 0.61
Keyphrase generation focuses on predicting both present and absent keyphrases. keyphrase生成は、現在と不在両方のkeyphrasesの予測に焦点を当てる。 0.61
Meng et al (2017) first propose CopyRNN which is a seq2seq framework with attention and copy mechanism. Meng et al (2017) はまず,注意とコピー機構を備えた Seq2seq フレームワークである CopyRNN を提案する。 0.76
Then a semi-supervised method for the exploitation of the unlabeled data is investigated by Ye and Wang (2018). その後,Ye and Wang (2018)により,ラベルなしデータの活用に関する半教師付き手法が検討された。 0.57
Chen et al (2018) employ a review mechanism to reduce duplicates. Chenら (2018) は複製を減らすためにレビューメカニズムを採用している。 0.64
Chen et al (2019b) focus on leveraging the title information to improve keyphrases generation. Chen et al (2019b)は、キーフレーズ生成を改善するためにタイトル情報を活用することに重点を置いている。 0.57
The latent topics of the document are exploited to enrich features by Wang et al (2019). 文書の潜在トピックは、Wang et al (2019) の機能を豊かにするために利用される。 0.62
Zhao and Zhang (2019) utilize linguistic constraints to prevent model from generating overlapped phrases. Zhao と Zhang (2019) は、モデルが重複したフレーズを生成するのを防ぐために言語制約を利用している。 0.59
Chan et al (2019) introduce a reinforcement learning approach for keyphrase generation. Chan et al (2019)は、キーフレーズ生成のための強化学習アプローチを導入した。 0.71
Chen et al (2020) propose an exclusive hierarchical decoding framework to explicitly model the hierarchical compositionality of a keyphrase set. Chen et al (2020) はキーフレーズ集合の階層的構成性を明示的にモデル化するための排他的階層的復号化フレームワークを提案する。 0.66
Yuan et al (2020) introduce a new model to generate multiple keyphrases as delimiter-separated sequences. Yuan et al (2020) は、区切り配列として複数のキーフレーズを生成する新しいモデルを導入した。 0.63
英語(論文から抽出)日本語訳スコア
Integrated Methods 2.3 To explicitly distinguish the present and absent keyphrases, integrated extraction and generation approach have been applied to the KP task. 総合的な方法 2.3 KPタスクに現在および欠落しているキーフレーズを明確に区別するために、統合抽出および生成アプローチが適用されている。 0.57
Chen et al (2019a) aim at improving the performance of the generative model by using an extractive model. Chen et al (2019a) は, 抽出モデルを用いて生成モデルの性能を向上させることを目的としている。
訳抜け防止モード: Chenら(2019a)が目指すのは 抽出モデルを用いて生成モデルの性能を向上させること。
0.83
Ahmad et al (2020) propose SEG-Net, a neural keyphrase generation model that is composed of a selector for selecting the salient sentences in a document, and an extractor-generator that extracts and generates keyphrases from the selected sentences. Ahmad et al (2020) は、文書中の有意な文を選択するセレクタと、選択された文からキーワードを抽出して生成する抽出器ジェネレータからなる、神経キーフレーズ生成モデルSEG-Netを提案する。 0.76
In contrast to these methods, our joint approach can explicitly capture the relation between extraction and generation in an end-to-end framework. これらの手法とは対照的に,我々の共同アプローチは,エンドツーエンドフレームワークにおける抽出と生成の関係を明示的に捉えることができる。 0.61
3 Approach In this section, we describe the architecture of UniKeyphrase. 3 アプローチ 本稿では,UniKeyphraseのアーキテクチャについて述べる。 0.74
Figure 2 gives an overview of UniKeyphrase, which consists of three components: extractor-generator backbone based on UNILM, a stacked relation layer for capturing the relation between PKE and AKG, and bag-of-words constraint for considering the global view of two tasks in training. 図2は、unilmに基づくextractor-generator backbone、pkeとakgの関係をキャプチャするstacked relation layer、トレーニング中の2つのタスクのグローバルビューを考慮したbag-of-words制約の3つのコンポーネントからなるunikeyphraseの概要を示しています。 0.70
In the following sections, the details of UniKeyphrase are given. 以下の節では、unikeyphraseの詳細が述べられている。 0.60
3.1 Extractor-Generator Backbone Given a document X = {x1, ..., xm}, KP aims at obtaining a keyphrase set K = {k1, ..., k|K|}. 3.1 Extractor-Generator Backbone 文書 X = {x1, ..., xm} が与えられたとき、KP はキーフレーズ集合 K = {k1, ..., k|K|} を得る。 0.80
Naturally, K can be divided into present keyphrase 1, ..., kp|Kp|} and absent keyphrase set Kp = {kp set Ka = {ka 1 , , ..., ka|Ka|} by judging whether keyphrases appear exactly in the source document. 当然、K は現在のキーフレーズ 1, ..., kp|Kp|} と欠キーフレーズ集合 Kp = {kp set Ka = {ka 1 , , ..., Ka|Ka|} に分けることができる。
訳抜け防止モード: 自然に、k は現在のkeyphrase 1, ..., に分割される。 kp|kp| } および欠落キーフレーズ集合 kp = { kp set ka = { ka 1,, ..., ka|ka| } by キーフレーズがソースドキュメントに正確に現れるかどうかを判断する。
0.77
UniKeyphrase decomposes the KP into PKE and AKG, and jointly learns two tasks in an end-to-end framework. UniKeyphraseはKPをPKEとAKGに分解し、エンドツーエンドのフレームワークで2つのタスクを共同で学習する。 0.59
UniKeyphrase treats PKE as a sequence labeling task and AKG as a text generation task. UniKeyphraseは、PKEをシーケンスラベリングタスク、AKGをテキスト生成タスクとして扱う。 0.68
To jointly learn in an end-to-end framework, UniKeyphrase adopts UNILM (Dong et al , 2019) as the backbone network. UniKeyphraseはエンドツーエンドのフレームワークで共同で学習するために、UNILM(Dong et al , 2019)をバックボーンネットワークとして採用している。 0.63
UNILM is a pre-trained language model, which can perform sequence-to-sequence prediction by employing a shared transformer network and utilizing specific self-attention masks to control what context the prediction conditions on. UNILMは事前訓練された言語モデルであり、共有トランスフォーマーネットワークを使用し、特定の自己認識マスクを使用して予測条件のコンテキストを制御することでシーケンス・ツー・シーケンス予測を行うことができる。 0.61
As shown in Figure 2, with a pre-trained UNILM layer, the contextualized representation for the source document can attend to each other from both directions, which is convenient for PKE. 図2に示すように、事前訓練されたUNILMレイヤで、ソースドキュメントのコンテキスト化された表現は、PKEに便利な、両方の方向から参加することができる。 0.58
While the representation of the target token can only attend to the left context, as well as all the tokens in the ターゲットトークンの表現は、左のコンテキストだけでなく、そのトークンのすべてのコンテキストにのみ対応できる。 0.58
source document, which can be easily adapted to AKG. AKGに容易に適応できるソースドキュメント。 0.59
Specifically, for a document X, all absent keyphrases will be concatenated as a sequence. 具体的には 文書 X の場合、欠落したキーフレーズはすべてシーケンスとして連結される。 0.65
Then we randomly choose tokens in this sequence, and replace them with the special token [MASK]. その後、このシーケンス内のトークンをランダムに選択し、特別なトークン [mask] で置き換えます。 0.73
The masked sequence is defined as Km a . 仮面列は Km a と定義される。 0.66
We further concatenate document X and Km a with [CLS] and [SEP] tokens as the input sequence: さらに文書XとKmを[CLS]および[SEP]トークンと入力シーケンスとして結合する。 0.70
I = {[CLS] X [SEP] Km I = {[CLS] X[SEP] Km 0.77
a [SEP]} SEP (複数形 SEPs) 0.40
(1) Afterwards, we feed input sequence into UNILM (1) その後、UNILMに入力シーケンスを入力する。 0.77
and obtain output hidden state H: H = UNILM(I) 出力隠蔽状態 H: H = UNILM(I) 0.68
(2) the hidden state H = {h1, ...,hT} (T is the number of input tokens in the UNILM) will be used as the input of stacked relation layer for jointly modeling PKE and AKG. 2) 隠れた状態 h = {h1, ...,ht} (t は unilm 内の入力トークンの数) は pke と akg を共同モデリングするためのスタック付き関係層の入力として使用される。 0.74
3.2 Stacked Relation Layer Based on the UNILM, we can obtain the output hidden H. Instead of directly using the UNILM hidden for PKE and AKG, we use the SRL to explicitly model the relation between these two tasks. PKEとAKGに隠されたUNILMを直接使用する代わりに、SRLを用いてこれらの2つのタスク間の関係を明示的にモデル化する。
訳抜け防止モード: 3.2 UNILMに基づく積み重ね関係層 PKE と AKG に隠された UNILM を直接使用する代わりに、出力が隠された H を得ることができます。 SRLを使って この2つのタスクの関係を明確にモデル化します
0.81
Actually, modeling the cross-impact and interaction between different tasks in joint model is a common problem (Qin et al , 2020a,b, 2019). 実際、関節モデルにおける異なるタスク間の相互影響と相互作用のモデリングは一般的な問題である(Qin et al , 2020a,b, 2019)。 0.77
Specifically, SRL takes the initial shared representations P0 = A0 = {h1, ...,hT} as input and aims to obtain the finally task representations PL and AL (L is the number of stacked layers), which consider the cross-impact between PKE and AKG. 具体的には、srl は初期共有表現 p0 = a0 = {h1, ..., ht} を入力として、pke と akg の間のクロスインパクトを考える最後のタスク表現 pl と al (l はスタック層の数) を得ることを目指している。
訳抜け防止モード: 具体的には、SRL は初期共有表現 P0 = A0 = { h1, ..., hT } を入力とし、最後にタスク表現 PL と AL を得る(L は積み重ねた層の数)。 PKEとAKGの相互関係を考慮に入れます。
0.69
Besides, SRL can be stacked to repeatedly fuse PKE and AKG task representations for better capturing mutual relation. さらに、SRLを積み重ねてPKEとAKGのタスク表現を融合させ、相互関係をよりよく捉えることができる。
訳抜け防止モード: また、SRLを積み重ねることもできる。 PKEおよびAKGタスク表現を繰り返し融合し、相互関係をよりよく捉える。
0.61
Formally, given the lth layer inputs Pl = {pl 1, T} and Al = {al T}, stacked relation layer ...,pl first apply two linear transformations with a ReLU activation over the input to make them more taskspecific, which can be written as follow: 正式には、lth 層が Pl = {pl 1, T} と Al = {al T} を入力すると、重ねられた関係層 ...,pl はまず、入力に対して ReLU 活性化を伴う2つの線形変換を適用して、よりタスク固有にする。 0.74
1, ...,al (cid:48) 1, ...,al (cid:48) 0.75
(cid:48) Pl Al (cid:48) Pl Al 0.82
= LN(Pl + max(0, Wl = LN(Al + max(0, Wl = LN(Pl + max(0, Wl = LN(Al + max(0, Wl) 0.89
P Pl + bl AAl + bl P Pl + bl AAl + bl 0.85
P )) A)) (3) p)) A) (3) 0.67
(4) where LN represent the layer normalization function (Ba et al , 2016). (4) LN は層正規化関数 (Ba et al , 2016) を表す。 0.80
Then the relation between the two tasks will be integrated base on task-specific representations. 次に、2つのタスクの関係はタスク固有の表現に基づいて統合される。 0.63
In this paper, we adopt co-attention relation networks. 本稿では,コアテンション関係ネットワークを採用する。 0.66
英語(論文から抽出)日本語訳スコア
Figure 2: The architecture of our model 図2:私たちのモデルのアーキテクチャ 0.84
Co-Attention is an effective approach to model the important information of correlated tasks. コアテンション(co-attention)は、相関したタスクの重要な情報をモデル化する効果的なアプローチである。 0.46
We extend the basic co-attention mechanism from token level to task representations level. トークンレベルからタスク表現レベルまで,基本的なコアテンションメカニズムを拡張します。 0.59
It can produce the PKE and AKG task representations considering each other. PKE と AKG のタスク表現を互いに考慮して生成することができる。 0.67
Therefore, we can transfer useful mutual information between two tasks. したがって、2つのタスク間で有用な相互情報を転送することができる。 0.58
The process can be formulated as follows: この過程は次のように定式化できる。 0.55
Pl+1 = LN(Pl Pl+1 = LN(Pl) 0.78
+ softmax(Pl + Softmax(Pl) 0.95
(cid:48) (cid:48) (cid:48) (cid:48) 0.78
(cid:48) (Al (cid:48) (cid:48) (Al:48) 0.77
(Pl (cid:48) (Pl) (cid:48) 0.82
)(cid:62))Al (cid:48) )(cid:62))Pl )(cid:62))Al (cid:48) )(cid:62))Pl 0.86
(cid:48) (cid:48) (cid:48) (cid:48) 0.78
) (5) 1 , ...,pl+1 ) (5) 1 , ...,pl+1 0.88
+ softmax(Al +softmax(al) 0.84
Al+1 = LN(Al ) (6) T } and Al+1 = {al+1 where Pl+1 = {pl+1 T } are the lth layer updated representations. Al+1 = LN(Al ) (6) T } と Al+1 = {al+1 ここで Pl+1 = {pl+1 T } は l 層更新表現である。 0.82
...,al+1 After stacked relation layer, we can obtain the n}. ...,al+1 積層関係層の後、n を得ることができる。 0.79
outputs PL = {pL 1 , ...,aL We then adopt separate decoders to perform PKE and AKG by using the task representations of corresponding position , which can be denoted as follows: pl = {pl 1 , ...,al の出力 次に、対応する位置 のタスク表現を使用して pke と akg を実行するために別々のデコーダを採用します。 0.56
m} and AL = {aL m} と AL = {aL 0.83
1 , ...,pL 1 , ...,pl 0.63
, 1 yp i = softmax(WppL ya j = softmax(WaaL , 1 yp i = Softmax(WppL ya j = softmax(WaaL) 0.87
i + bp) j + ba) i + bp) j + ba) 0.85
(7) (8) where yp j are the predicted distribution for present keyphrase and absent keyphrase respec- (7) (8) yp jは現在のキーフレーズと欠落キーフレーズの再定義の予測分布である 0.77
i and ya tively; Wp and Wa are transformation matrices; bp and ba are bias vectors. 俺とお前は tively; Wp と Wa は変換行列、bp と ba はバイアスベクトルである。 0.68
3.3 Bag-of-Words Constraint UniKeyphrase divides the KP task into two subtasks, PKE and AKG. 3.3 Bag-of-Words Constraint UniKeyphrase は KP タスクを PKE と AKG の2つのサブタスクに分割する。 0.62
These two sub-tasks are optimized separately, which lacks the awareness of global information about the total keyphrase set. これら2つのサブタスクは個別に最適化されており、全キーフレーズ集合に関するグローバル情報の認識が欠如している。 0.58
Such global information can be the amount of all keyphrases or the common words between present and absent keyphrases. このようなグローバル情報は、すべてのキーフレーズの量、または現在キーフレーズと不在キーフレーズの間の共通語である。 0.58
Bag of words (BoW) is a suitable medium for describing this information. 単語の袋(BoW)はこの情報を記述するのに適した媒体である。 0.76
In this paper, we feed global information to UniKeyphrase by constructing constraints based on the BoW of keyphrases. 本論文では,キーフレーズのBoWに基づく制約を構築することにより,グローバル情報をUniKeyphraseに供給する。 0.79
The word count in BoW can provide guidance about task relation for PKE and AKG training in a global view. BoWの単語カウントは、グローバルな視点でPKEとAKGトレーニングのタスク関係に関するガイダンスを提供することができる。 0.59
Specifically, we calculate the gap between the model predicted keyphrase BoW and ground truth keyphrase BoW, then add it into the loss. 具体的には、予測されたキーフレーズBoWと基底真理キーフレーズBoWとのギャップを計算し、損失に加算する。 0.71
Hence UniKeyphrase can get a global view of keyphrases allocation and adjust two tasks during training. 従って、unikeyphraseはキーフレーズ割り当てのグローバルビューを取得し、トレーニング中に2つのタスクを調整できる。 0.63
We first collect present and absent keyphrase BoW from model. まずモデルから現在および不在のキーフレーズ弓を収集する。 0.56
For present keyphrases, since PKE is a sequence labeling task, we collect all words that labeled as keyphrases, and construct present predicted BoW V p. We use the sum of キーフレーズについては、pkeはシーケンスラベリングタスクであるため、キーフレーズとしてラベル付けされたすべての単語を収集し、現在予測されるbow v pを構成する。 0.65
LinearLinearAdd&NormAdd&NormTTSoftmax××Softmax××Add&NormAdd&Norm(a) UniKeyphrase(b) Relation LayerSource documentMasked absent keyphrasesequenceCLS 𝑥!…𝑥"SEP𝑘!#…𝑘|%!|#SEPCh1…hmS1hm+1…hnS2UNILMSRL…BWCGround truth BoWPredicted BoW𝑦!&𝑦"&𝑦!#𝑦’#Gap Computing…𝐋×𝑃!𝑃!"#𝐴! LinearLinearAdd&NormTTSoftmax××Softmax××Add&NormAdd&Norm(a) UniKeyphrase(b) Relation LayerSource documentMasked absent keyphrasesequenceCLS x!...x"SEPk!#...k|%!|#SEPCh1...hmS1hm+1...hnS2UNILMSRL...B WCGround truth BoW Predicted BoWy!&y!#y’#Gap Computing...L×P! 0.83
"#𝐴!Relation Layer𝐴$𝑃$LinearLinear𝑃%𝐴% 「#A!Relation LayerA$P$LinearLinea rP%A%」 0.87
英語(論文から抽出)日本語訳スコア
corresponding label probabilities as the count of word w in V p: Vp における単語 w のカウントとして対応するラベル確率 0.77
V p(w) = max(yp i ) V p(w) = max(yp i ) 0.85
(9) where yp i denotes all predicted label probabilities at time step i. Iw is all position of word w in document. (9) yp i が時間ステップ i. iw で予測されるすべてのラベル確率を表す場合、iw は文書中の単語 w の位置である。 0.75
Maximum operation is used for selecting the probability of predicted label. 最大演算は予測ラベルの確率を選択するために用いられる。 0.86
For absent keyphrase, the generation probability of all steps are accumulated as predicted absent BoW V a(w). 欠落キーフレーズについては、予測欠落弓va(w)として全ステップの発生確率を累積する。 0.65
(cid:88) i∈Iw (cid:88) ihtmliw 0.58
N(cid:88) j=1 n(cid:88) j=1 0.68
V a(w) = ya j (w) V a(w) = ヤj(w) 0.73
(10) (cid:88) (10) (cid:88) 0.82
w∈V After acquiring the predicted present and absent keyphrase BoW, we concatenate these two parts as the total predicted BoW V , then calculate the error compared with ground truth BoW ˆV . wwv 予測された現在および不在なキーフレーズBoWを取得すると、これらの2つの部分を予測されたBoW Vの総和として結合し、その誤差を基底真理BoW >Vと比較する。 0.51
To reserve the word count information, we use Mean Square Error (MSE) function: 単語カウント情報を予約するためには、Mean Square Error (MSE) 関数を使用します。 0.68
LBoW = 1 |V| LBoW = 1 |V| 0.78
(V (w) − ˆV (w))2 (V(w) − ~V(w))2 0.87
(11) It is worth noting that V is the collection of words that make up the ground truth keyphrases and predicted keyphrases. (11) v は根拠となる真理を構成する単語の集合であり、キーフレーズと予測されるキーフレーズである。 0.79
So the BWC only affects a small subset of the whole vocabulary for each sample. なので、bwcは各サンプルの語彙全体の小さなサブセットにのみ影響します。 0.77
This can help reduce the noise and stabilize the training process. これにより、ノイズを低減し、トレーニングプロセスを安定化できます。 0.66
In practice we increase the weight of BWC logarithmically from zero to a defined maximum value wm, the weight of BWC on t step can be denoted as follows: 実際、bwc の重量を 0 から定義した最大値 wm に対数的に増加させると、t ステップ上の bwc の重量は次のようになる。 0.62
wBoW (t) = log( wBoW (t) = log( 0.85
ewm − 1 ttotal ewm − 1 ttotal 0.85
t + 1) (12) t + 1) (12) 0.85
where ttotal is the total step of training. ttotalは訓練の全段階です 0.58
The reason to adjust the weight is the same as Ma et al (2018). 重量を調整する理由はMa et al (2018)と同じである。 0.73
The BWC should take effect when predicted results are good enough. 予測結果が十分であれば、BWCは効果を発揮するべきである。 0.57
Therefore we first assign a small weight to BWC at the initial time, and gradually increase it when training. したがって、まず最初にBWCに小さな重みを割り当て、トレーニング時に徐々に増加させます。 0.67
3.4 Training For the PKE task, objection is formulated as: 3.4 PKEタスクでは、異議を次のように定式化する。 0.49
LP KE = − M(cid:88) LP KE = − M(cid:88) 0.96
C(cid:88) i=1 c(cid:88) i=1 0.70
c=1 (cid:16) c=1。 (cid:16) 0.62
(cid:17) wc ˆy(c,p) (cid:17) wc (複数形 wcs) 0.64
i log y(c,p) i 私は ログ y(c,p) i 0.70
(13) where M refers to the length of document, C refers to the number of label, wc is the loss weight for the positive label. (13) M は文書の長さ、C はラベルの数、wc は正のラベルの損失重みである。
訳抜け防止モード: (13) M が文書の長さを表し、C がラベルの数を指している。 wcは正のラベルの損失重量です
0.76
ˆyp i refers the gold label. うーん。 私は金のラベルを参照します。 0.44
For the AKG task, training objection is to maximize the likelihood of masked tokens, which is formulated as: AKGタスクでは、トレーニングの反対はマスクされたトークンの可能性を最大化することであり、これは次のように定式化されている。
訳抜け防止モード: AKGタスクでは、トレーニングの反対はマスクされたトークンの可能性を最大化することである。 形式化されます
0.58
LAKG = − N(cid:88) LAKG = − N(cid:88) 0.94
Vs(cid:88) vs(cid:88) 0.63
(cid:16) (cid:17) (cid:16) (cid:17) 0.78
ˆy(j,a) i log y(j,a) i ログ 0.75
y(j,a) i (14) y(j,a) i (14) 0.85
i=1 j=1 where N refers to the number of masked tokens, Vs refers to the size of vocabulary. i=1 j=1 N がマスクされたトークンの数を指す場合、Vs は語彙のサイズを指す。 0.65
ˆya i refers the ground-truth word. 一(いち)とは、真理の言葉。 0.43
Considering the BWC, the overall bwcを考えると 全体として 0.60
loss of UniKeyphrase is formulated as: 損失 UniKeyphraseは以下のようになる。 0.58
L = LP KE + LAKG + wBoWLBoW L = LP KE + LAKG + wBoWLBoW 0.85
(15) 4 Experiments 4.1 Datasets and Evaluation We follow the widely used setup of the deep KP task: train, validation and test on the KP20K (Meng et al , 2017) dataset, and give evaluation on three more benchmark datasets: NUS (Nguyen and Kan, 2007), INSPEC (Hulth, 2003) and SEMEVAL (Kim et al , 2010). (15) 4 実験 4.1 データセットと評価 私たちは、kp20k (meng et al , 2017) データセットのトレーニング、検証、テスト、そして、さらに3つのベンチマークデータセット(nus (nguyen and kan, 2007)、inspec (hulth, 2003)、semeval (kim et al , 2010)で広く使われているディープkpタスクのセットアップに従います。
訳抜け防止モード: (15) 4 実験 4.1 データセットとその評価 : 深部kpタスクの設定 : kp20 k (meng et al,) の訓練,検証,試験 2017年)データセット、さらに3つのベンチマークデータセット(nus(nguyen and kan, 2007年)の評価を行う。 inspec (hulth, 2003) と semeval (kim et al, 2010) である。
0.80
We follow the preprocess, post-process, and evaluation setting of Meng et al (2017, 2019); Yuan et al (2020)1. 我々は,Meng et al (2017, 2019), Yuan et al (2020)1の前処理, 後処理, 評価設定に従う。 0.77
Specifically, we use the partition of present and absent provided by Meng et al (2017) and calculate F1@5 and F1@M (use all predicted keyphrases for F1 calculation) after stemming and removing duplicates. 具体的には、Meng et al (2017) が提供する現在と不在の分割を用いて、複製を幹細胞化して削除した後、F1@5 と F1@M を計算する。 0.67
4.2 Experimental Setup Setting: We reuse most hyper-parameters from pretrained UNILM2. 4.2 実験セットアップ設定: 事前訓練されたUNILM2からほとんどのハイパーパラメータを再利用する。 0.54
The layer number of SRL is set to 2. SRLの層数は2となる。 0.61
We use wm = 1.0 when adjusting the weight of BWC. bwc の重量調整には wm = 1.0 を用いる。 0.82
PKE loss weights wc for the positive label is set to 5.0. we set batch size to 256, and maximum length to 384. 正ラベルのPKE損失重量wcを5.0とし、バッチサイズを256、最大長さを384とする。 0.57
During decoding, we use beam search for AKG, and beam size is set as 5. 復号中、AKGのビームサーチを用い、ビームサイズを5とする。
訳抜け防止モード: 復号中は akg のビームサーチを用いる。 そして、ビームサイズを5に設定する。
0.69
We train our model on the training set for 100 epochs. 私たちは100エポックのトレーニングセットでモデルをトレーニングします。 0.77
It takes about 40 minutes per epoch to train UniKeyphrase on 8 Nvidia Tesla V100 GPU cards with mixed-precision training. Nvidia Tesla V100 GPUカード8枚にUniKeyphraseを混合精度でトレーニングするには1時間あたり約40分を要する。 0.73
More details are provided in Appendix B. 詳細はAppendix Bに記載されている。 0.69
1we follow the official GitHub repository to prepare datasets and evaluation scripts which are available on https://github.com/m emray/OpenNMT-kpg-re lease. これはhttps://github.com/m emray/opennmt-kpg-re leaseで入手できる。 0.55
2we use the official provided pre-trained model, which is available on https://unilm.blob.c ore.windows.net/ckpt /unilm1base-cased.bi n. これはhttps://unilm.blob.c ore.windows.net/ckpt /unilm1base-cased.bi nで利用できる。 0.46
英語(論文から抽出)日本語訳スコア
Type Generative Integrated Joint 種類 生成物 統合 ジョイント 0.67
Model CatSeq モデル CatSeq 0.82
CatSeqTG SEG-NET CatSeqTG SEG-NET 0.72
KP20k NUS SemEval KP20k NUS Seméval 0.74
Inspec CatSeq(TRM) 特例 CatSeq(TRM) 0.61
F1@5 F1@M F1@5 F1@M F1@5 F1@M F1@5 F1@M 26.2 29.1 27.0 29.2 26.4 29.1 26.3 28.5 31.1 29.1 KG-KE-KR-M 31.7 32.3 40.8 F1@5 F1@M F1@5 F1@M F1@M F1@M F1@M 26.2 29.1 27.0 29.0 26.4 29.3 26.3 28.5 31.1 29.1 KG-KE-KR-M 31.7 32.3 40.8 0.61
22.5 22.9 22.5 21.9 25.3 25.7 24.6 29.0 22.5 22.9 22.5 21.9 25.3 25.7 24.6 29.0 0.42
24.2 24.6 24.5 23.3 28.4 20.2 29.8 41.6 24.2 24.6 24.5 23.3 28.4 20.2 29.8 41.6 0.42
39.7 39.3 40.5 39.4 39.7 39.3 40.5 39.4 0.45
– – 45.9 43.5 – – 45.9 43.5 0.65
36.7 36.6 36.8 36.3 37.4 36.7 36.6 36.8 36.3 37.4 0.44
28.3 29.0 28.8 27.4 33.5 28.3 29.0 28.8 27.4 33.5 0.44
– 34.1 40.9 – 34.1 40.9 0.68
CatSeqD ExHiRD-h CatSeqD ExHiRD-h 0.71
UniKeyphrase UniKeyphrase 0.85
32.3 32.5 32.8 32.1 32.3 32.5 32.8 32.1 0.45
– 28.9 40.1 43.4 – 28.9 40.1 43.4 0.66
– 38.1 42.8 – 38.1 42.8 0.68
– 30.1 31.1 – 30.1 31.1 0.68
Table 1: Results on present keyphrase prediction. 表1:現在のキーフレーズ予測の結果。 0.81
Baselines: We compare two kinds of strong baselines (generative, integrated) to give a comprehensive evaluation on the performance of UniKeyphrase. ベースライン:UniKeyphraseの性能を総合的に評価するために,2種類の強いベースライン(生成,統合)を比較した。 0.79
• Generative: Generative models can predict both present and absent keyphrases under the seq2seq framework. ジェネレーティブ: 生成モデルは、seq2seqフレームワークの下で、現在と不在の両方のキーフレーズを予測できる。 0.55
CatSeq (Yuan et al , 2020) is the classic setting of keyphrase seq2seq model. CatSeq (Yuan et al , 2020) は、キーフレーズSeq2seqモデルの古典的な設定である。 0.77
We report the performance of CatSeq and various improved models on it, including CatSeqTG (Chen et al , 2019b), CatSeq (TRM) (Ahmad et al , 2020) and CatSeqD (Yuan et al , 2020). CatSeq と CatSeqTG (Chen et al , 2019b), CatSeq (TRM) (Ahmad et al , 2020) , CatSeqD (Yuan et al , 2020) などの改良モデルの性能について報告する。 0.72
A recently released model is also included for comparing, which is ExHiRD-h (Chen et al , 2020). 最近リリースされたモデルも、ExHiRD-h(Chen et al , 2020)の比較に含まれている。 0.74
• Integrated: Integrated model often combine multiple modules to perform extractive and abstractive tasks. • 統合: 統合モデルは、しばしば抽出および抽象化タスクを実行するために複数のモジュールを結合する。 0.70
But they are not end-to-end. しかし、それらはエンドツーエンドではない。 0.41
Two latest integrated models are recorded for comparison. 比較のために2つの最新の統合モデルが記録されている。 0.52
including KG-KE-KR-M (Chen et al , 2019a) and SEG-NET (Ahmad et al , 2020) KG-KE-KR-M(Chen et al , 2019a)やSEG-NET(Ahmad et al , 2020)を含む 0.75
4.3 Main Results In this section, we show the experimental results of the baseline methods and our model on present keyphrase extraction and absent keyphrase generation. 4.3 主な結果として,ベースライン法の実験結果と,キーフレーズ抽出とキーフレーズ生成の欠如に関するモデルについて述べる。 0.81
Besides, we also study the average number of unique predicted keyphrases per document to further show the advantages of our model. さらに,ドキュメント毎に予測される一意なキーフレーズの平均数についても検討し,モデルの利点について検討した。
訳抜け防止モード: また,文書ごとの予測キーフレーズの平均数についても検討する。 我々のモデルの利点をさらに示します
0.75
4.3.1 Present and Absent Keyphrase 4.3.1 現状とアクセント 0.62
Prediction The present and absent keyphrase prediction performance of all methods are shown in Table 1 and Table 2. 予測 全メソッドの現在および欠落したキーフレーズ予測性能を表1と表2に示す。 0.77
From the results, we can find that our joint framework outperforms most state-ofthe-art generative baseline by a significant margin, which demonstrates the effectiveness of our UniKeyphrase. 結果から,我々のジョイントフレームワークは,UniKeyphraseの有効性を示す重要なマージンで,最先端のジェネレーティブベースラインよりも優れていることがわかった。 0.75
We notice that the UniKeyphrase 私たちはUniKeyphraseに気づきました 0.68
does not outperform the SEG-NET on F1@M for present keyphrase extraction on NUS dataset. NUSデータセットのキーフレーズ抽出では、F1@MでSEG-NETを上回りません。 0.68
One potential reason is that the source document length and sentence number of NUS are much larger than the KP20k training set. NUSのソース文書の長さと文数は、KP20kのトレーニングセットよりもはるかに大きい可能性がある。 0.77
SEG-NET employs an additional sentence selector for filtering sentences without keyphrase, which is more adaptable for processing long documents like NUS. SEG-NETは、キーフレーズなしで文をフィルタリングするために追加の文セレクタを採用している。 0.60
4.3.2 Number of Predicted Keyphrases The number of predicted keyphrases indicates the model’s understanding of input documents. 4.3.2 予測されたキーワードの数 予測されたキーワードの数は、入力ドキュメントに対するモデルの理解を示す。 0.62
From the previous work (Chen et al , 2020), we find the average number of unique predicted keyphrases per document is much lower than the gold average keyphrase number in most datasets. 以前の研究(Chen et al , 2020)から、文書ごとの平均予測キーフレーズ数は、ほとんどのデータセットにおける金の平均キーフレーズ数よりもはるかに少ないことがわかった。 0.75
The number of unique keyphrases predicted by UniKeyphrase and baselines is compared in Table 3. unikeyphraseとベースラインによって予測されるユニークなキーフレーズの数をテーブル3で比較する。 0.75
We can find that UniKeyphrase predicts more (especially in absent keyphrases) than baseline methods, which is closer to ground truth. UniKeyphraseがベースラインメソッドよりも多くの(特に欠落したキーフレーズにおいて)予測をすることがわかった。 0.71
Meanwhile, we find UniKeyphrase leads to predict more keyphrases than the groundtruth (especially on KP20k). 一方、unikeyphraseは基底(特にkp20k)よりも多くのキーフレーズを予測している。 0.73
We leave solving the over prediction keyphrases problem as our future work. 我々は、今後の作業として、過剰予測キーフレーズの問題を解決し続けます。 0.53
4.4 Ablation Study In this section, we check the improvement brought by SRL and BWC. 4.4 アブレーション研究 この節では,SRL と BWC による改善を確認した。 0.82
Several ablation experiments are conducted to analyze the effect of different components. いくつかのアブレーション実験を行い、異なる成分の効果を分析する。 0.66
The ablation experiment on SemEval is shown in Table 4. SemEvalのアブレーション実験を表4に示す。 0.72
The results show the effectiveness of different components of our method to the final performance. その結果,本手法の各種成分が最終性能に及ぼす影響が示された。 0.76
Effectiveness of stacked relation layer: In this setting, we conduct experiments on the multi-task framework where PKE and AKG promote each other only by the hidden state of UNILM, From 重ね合わせ関係層の有効性:この環境では,pke と akg が unilm の隠れた状態によってのみ相互に促進するマルチタスク・フレームワークの実験を行う。 0.71
3Reports from Yuan et al (2020), which do not report absent metrics for this model. 3Reports from Yuan et al (2020) では、このモデルに欠落した指標を報告していない。 0.75
The original paper also does not give detailed numbers. オリジナルの論文には詳細な数字は書かれていない。 0.55
英語(論文から抽出)日本語訳スコア
Type Model CatSeq 種類 モデル CatSeq 0.79
CatSeqTG CatSeq(TRM) CatSeqTG CatSeq(TRM) 0.85
CatSeqD ExHiRD-h CatSeqD ExHiRD-h 0.71
KG-KE-KR-M3 KG-KE-KR-M3 0.26
SEG-NET UniKeyphrase SEG-NET UniKeyphrase 0.72
Generative Integrated Joint 生成物 統合 ジョイント 0.66
KP20k NUS SemEval KP20k NUS Seméval 0.74
Inspec F1@5 F1@M F1@5 F1@M F1@5 F1@M F1@5 F1@M 1.5 1.5 1.5 1.5 1.6 – 2.0 4.7 特例 f1@5 f1@m f1@m f1@5 f1@m f1@5 f1@m 1.5 1.5 1.5 1.6 – 2.0 4.7 0.56
2.8 1.8 1.8 2.4 – – 2.4 3.7 2.8 1.8 1.8 2.4 – – 2.4 3.7 0.50
1.6 1.1 1.1 1.5 – – 1.4 3.6 1.6 1.1 1.1 1.5 – – 1.4 3.6 0.50
0.4 0.5 0.5 0.6 1.1 – 0.9 2.9 0.4 0.5 0.5 0.6 1.1 – 0.9 2.9 0.46
0.8 1.1 0.9 1.1 2.2 – 1.4 2.9 0.8 1.1 0.9 1.1 2.2 – 1.4 2.9 0.46
3.2 3.2 3.1 3.1 3.2 – 3.8 4.7 3.2 3.2 3.1 3.1 3.2 – 3.8 4.7 0.46
2.0 1.9 1.9 1.6 1.7 – 2.1 3.0 2.0 1.9 1.9 1.6 1.7 – 2.1 3.0 0.46
2.8 2.7 2.7 2.4 2.5 – 3.1 3.2 2.8 2.7 2.7 2.4 2.5 – 3.1 3.2 0.46
Table 2: Results on absent keyphrase prediction. 表2: 欠落キーフレーズ予測の結果。 0.81
Model Ground Truth Transformer catSeq catSeqD catSeqCorr ExHiRD-h SEG-NET UniKeyphrase モデル Ground Truth Transformer catSeqD catSeqCorr ExHiRD-h SEG-NET UniKeyphrase 0.84
Inspec SemEval 特例 Seméval 0.58
KP20k #PK #AK #PK #AK #PK #AK 1.93 7.64 0.58 3.17 0.51 3.33 0.50 3.33 3.07 0.50 0.81 4.00 1.14 2.72 KP20k #PK #AK #PK #AK #PK #AK 1.93 7.64 0.58 3.17 0.51 3.33 0.50 3.33 3.07 0.50 0.81 4.00 1.14 2.72 0.58
3.32 3.44 3.70 3.74 3.36 3.97 3.79 6.29 3.32 3.44 3.70 3.74 3.36 3.97 3.79 6.29 0.42
6.28 3.24 3.45 3.47 3.15 3.65 6.28 3.24 3.45 3.47 3.15 3.65 0.43
8.12 0.67 0.64 0.63 0.62 0.99 8.12 0.67 0.64 0.63 0.62 0.99 0.43
2.10 0.70 0.58 0.58 0.53 1.50 2.10 0.70 0.58 0.58 0.53 1.50 0.43
5.19 2.74 8.15 5.19 2.74 8.15 0.59
3.04 - - - 3.04 - - - 0.78
- Table 3: Results of average numbers of predicted unique keyphrases. - 表3: 予測されるユニークなキーフレーズの平均数の結果。 0.80
“#PK” and “#AK” are the number of present and absent keyphrases respectively. #PK” と “#AK” はそれぞれ現在および欠落したキーフレーズの数である。 0.83
Bold denotes the prediction closest to the ground truth. ボールドは地上の真理に最も近い予測を表す。 0.68
Model UniKeyphrase w/o SRL w/o BWC モデル UniKeyphrase w/o SRL w/o BWC 0.75
Present Absent F1@5 F1@M F1@5 F1@M 41.6 38.5 40.0 現在 欠席 F1@5 F1@M F1@5 F1@M 41.6 38.5 40.0 0.62
40.9 37.6 39.5 40.9 37.6 39.5 0.47
3.0 2.9 2.8 3.0 2.9 2.8 0.47
3.2 3.1 2.8 3.2 3.1 2.8 0.47
Table 4: Ablation study on SemEval dataset 表4:SemEvalデータセットのアブレーション研究 0.81
the result, we can see that the performance drops both in present keyphrase and absent keyphrase without stacked relation layer. その結果、関係層を積み重ねることなく、現在のキーフレーズと欠キーフレーズの両方のパフォーマンスが低下することがわかった。 0.64
This demonstrates that explicitly modeling the relation between PKE and AKG with stacked relation layer can benefit them effectively. これは、pke と akg の関係を積み重ねた関係層で明示的にモデル化することが効果的に有用であることを示す。 0.50
Effectiveness of bag-of-words constraint: In this setting, we remove our bag-of-words constraint and there is no global constraint for two tasks. この設定では、バッグ・オブ・ワードの制約を取り除き、2つのタスクにグローバルな制約はありません。 0.68
The results show a drop in KP performance, indicating that capturing the global constraint of the result by BWC is effective and important for our method. その結果,bwcによる結果のグローバル制約を捉えることが効果的かつ重要であることを示すkp性能が低下した。
訳抜け防止モード: 結果はKP性能の低下を示している。 BWCによる結果のグローバルな制約の獲得は,本手法にとって有効かつ重要であることを示す。
0.77
4.5 Analysis 4.5.1 SRL Analysis To better understand the SRL module, we analyze the impact of stacked layers and give a visualization of the inner state of SRL. 4.5 Analysis 4.5.1 SRL Analysis SRLモジュールをよりよく理解するために、積層層の影響を分析し、SRLの内部状態を可視化する。 0.88
Analysis of SRL Layer Number: We explore srl層数の解析:我々は 0.56
Model UNILM based keyphrase generation UniKeyphrase with 0 layer SRL UniKeyphrase with 1 layer SRL UniKeyphrase with 2 layer SRL UniKeyphrase with 3 layer SRL model unilm based keyphrase generation unikeyphrase with 0 layer srl unikeyphrase with 1 layer srl unikeyphrase with 2 layer srl unikeyphrase with 3 layer srl 0.60
Total F1@M 23.7 23.1 25.2 25.3 24.5 全F1@M 23.7 23.1 25.2 25.3 24.5 0.64
Table 5: Total keyphrase prediction on SemEval dataset by different setting. 表5: 異なる設定によるセメバルデータセットのトータルキーフレーズ予測。 0.75
UniKeyphrase with 0 layer SRL means UniKeyphrase without SRL module. SRLを0層としたUniKeyphraseはSRLモジュールを持たないUniKeyphraseを意味する。 0.65
the impact of the stack number of relation network. 関連ネットワークのスタック数の影響。 0.53
The comparison of total keyphrase prediction result, which regardless of the present or absent of keyphrases, are shown in Table 5. 表5に、キーフレーズの有無にかかわらず、合計キーフレーズ予測結果の比較を示す。 0.59
We can find that setting deeper layers could generally result in better performance when the number of stacked layers is less than three, which proves the effectiveness of stacked layers. より深いレイヤを設定すると、スタック層数が3以下になると一般的にパフォーマンスが向上し、スタック層の有効性が証明される。
訳抜け防止モード: 私たちはそれを見つけることができます より深い層を パフォーマンスが向上し 積み重ねられた層の数は3つ未満です レイヤの積み重ねの有効性を証明します。
0.73
It is worth noting that when the number of stacked layers is larger than two, the KP performance drops. ただし、積み重ねられたレイヤ数が2よりも多い場合、KPのパフォーマンスは低下する。 0.52
We suppose that when the relation network becomes deeper, the over-interaction will lose the diversity of two task representations. 関係ネットワークが深まると、過剰な相互作用は2つのタスク表現の多様性を失うと仮定する。 0.71
Visualization Analysis for SRL: To better understand what the SRL network has learned, we compare the distance between the PKE representation and AKG representation in different settings. SRLの可視化分析:SRLネットワークが何を学んだかをよりよく理解するために、異なる設定でPKE表現とAKG表現の距離を比較する。 0.78
In detail, we randomly sample 2000 pairs of PKE representation vector and AKG representation vector on different positions from test data and compute euclidean metric in each pair. 具体的には、テストデータから異なる位置に2000対のpke表現ベクトルとagg表現ベクトルをランダムにサンプリングし、各対のユークリッド計量を計算する。 0.71
As shown in Figure 3, the blue points mean the Euclidean metric between PKE and AKG representation vector without SRL layer, while the yellow points mean the Euclidean metric with SRL layer. 図3に示すように、青い点は SRL 層を持たない PKE と AKG 表現ベクトルの間のユークリッド計量を意味し、黄色の点は SRL 層を持つユークリッド計量を意味する。 0.73
From the Figure 3, we can find that the blue points are under the yellow points, which means the PKE and AKG representation vector without SRL is more similar. 図3から、青点が黄点の下にあることが分かるので、SRLのない PKE および AKG 表現ベクトルはより類似している。 0.67
In other words, SRL has learned the task-specific representation. 言い換えれば、SRLはタスク固有の表現を学びました。 0.69
Also, the blue points are denser than the yellow points, which 黄色の点よりも青い点の方が密度が高いので 0.71
英語(論文から抽出)日本語訳スコア
Figure 3: Distance between PKE representation and AKG representation on different settings. 図3:異なる設定でのpke表現とakg表現の間の距離。 0.68
Figure 4: BWC’s influence on total training loss (sequence labeling + text generation). 図4: トレーニング全体の損失(シーケンスラベリングとテキスト生成)に対するBWCの影響。 0.69
means the PKE and AKG representation with SRL is more diverse than the one without SRL on different samples. つまり、SRL の PKE と AKG の表現は、異なるサンプルに SRL を持たないものよりも多様である。 0.85
4.5.2 BWC Analysis Loss Compare: From Figure 4 we can see that the original total loss (labeling and generation) drops more with the help of BWC compared to the vanilla model. 4.5.2 BWC分析損失の比較: 図4から、元の総損失(ラベルと生成)がバニラモデルと比較してBWCの助けを借りて減少することがわかる。 0.79
BWC actually is an enhancement on the original supervised signal from a global view. BWCは実際には、グローバルな視点からのオリジナルの教師付き信号の強化である。 0.62
It guides the model to learn how many to predict and how to allocate present and absent keyphrases, while original loss only teaches what to predict in each position. モデルには、予測する数と、現在および欠落しているキーフレーズの割り当て方法を学ぶためのガイドがあるが、オリジナルの損失は各位置に何を予測するかを教えるのみである。 0.64
Bag-of-words Error: We also calculate the bagof-words Error between ground truth and model predicted keyphrases, which is how many tokens are incorrectly predicted. Bag-of-words Error: 基底真理とモデル予測キーフレーズの間のバグ・オブ・ワードの誤りも計算します。
訳抜け防止モード: Bag - of - words Error : We also calculated the bagof - words Error between ground truth and model predict keyphrases。 これは不正に予測されるトークンの数です
0.81
As shown in Figure 5, UniKeyphrase with BWC achieves lower BoW Error compared with the vanilla model. 図5に示すように、UniKeyphrase with BWCはバニラモデルに比べてBoWエラーが低い。 0.71
It proves that BWC successfully guides the model to learn a better BoW allocation. BWCは、より優れたBoWアロケーションを学ぶためにモデルをガイドすることに成功している。 0.58
Joint Framework Analysis ジョイントフレームワーク分析 0.70
4.5.3 In our UniKeyphrase model, we adopt pre-trained model UNILM for KP. 4.5.3 では,kp に対して事前学習したモデル unilm を採用する。 0.53
So it is necessary to check ですから確認する必要があるのです 0.69
Figure 5: Bag-of-words Error comparison between vanilla and BWC. 図5: バニラとbwcの単語誤りの比較。 0.67
that the gain on metrics of our proposed joint framework is not just come from the pre-trained model. 提案するジョイントフレームワークのメトリクスの獲得は、事前学習されたモデルによるものではない。 0.72
In this section, we compare UniKeyphrase with directly using the pre-trained UNILM to perform generative KP. 本稿では,UniKeyphraseと事前学習したUNILMを直接使用して生成KPを実行する。 0.73
Specifically, we train a sequence to sequence model for KP based on UNILM. 具体的には、UNILMに基づくKPのシーケンス to シーケンスモデルをトレーニングする。 0.75
Results are shown in Table 5. 結果は表5に示されています。 0.67
From the results, we find that all of the joint models with SRL can further outperform the generative method based on UNILM, demonstrating that the improvement of KP mainly come from our joint framework instead of pre-trained UNILM. これらの結果から, SRLとの結合モデルはすべてUNILMに基づく生成法よりも優れており, KPの改良は主に, 予め訓練したUNILMではなく, 当社のジョイントフレームワークによるものであることを示す。 0.81
We notice that the UniKeyphrase without SRL does not outperform the generative method based on UNILM, which show the significance of modeling the relation between the two sub-tasks in our joint framework. SRLを含まないUniKeyphraseはUNILMに基づく生成法よりも優れていないことに気付き、この2つのサブタスク間の関係をモデル化することの重要性を示す。 0.77
5 Conclusion and Future Work 5 結論と今後の課題 0.79
This paper focuses on explicitly establishing an endto-end unified model for PKE and AKG. 本稿では,PKE と AKG のエンドツーエンド統一モデルの構築に着目する。 0.66
Specifically, we propose UniKeyphrase, which contains stacked relation layer to model the interaction and relation between the two sub-tasks. 具体的には,2つのサブタスク間の相互作用と関係をモデル化するためのスタック関係層を含むunikeyphraseを提案する。 0.70
In addition, we design a novel bag-of-words constraint for jointly training these two tasks. さらに,これら2つのタスクを共同で訓練するための新しい単語制約を設計する。 0.67
Experiments on benchmarks show the effectiveness of the proposed model, and more extensive analysis further confirms the correlation between two tasks and reveals that modeling the relation explicitly can boost their performance. ベンチマーク実験では,提案モデルの有効性が示され,さらに広範囲な解析により2つのタスク間の相関が確認され,その関係をモデル化することで性能が向上することが示された。 0.67
Our UniKeyphrase can be formalized as a unified framework of NLU and NLG tasks. 我々のUniKeyphraseは、NLUとNLGタスクの統一フレームワークとして形式化できます。 0.66
It is easy to transfer it to other extraction-generatio n NLP tasks. 他の抽出生成NLPタスクに転送するのは簡単である。 0.69
In the future, we will explore to adopt our framework to more scenarios. 将来的には、より多くのシナリオにフレームワークを採用することを検討します。 0.63
英語(論文から抽出)日本語訳スコア
Acknowledgments Lei Li were supported by Beijing Municipal Commission of Science and Technology [grant number Z181100001018035]; Engineering Research Center of Information Networks, Ministry of Education; BUPT Jinan Institute; Beijing BUPT Information Networks Industry Institute Company Limited. acknowledgments lei liは北京市科学技術委員会 (grant number z181100001018035)、情報ネットワーク工学研究センター、文部省、bupt jinan institute、beijing bupt information networks industry institute limitedによって支援された。 0.67
References Wasi Uddin Ahmad, Xiao Bai, Soomin Lee, and KaiWei Chang. 参照: Wasi Uddin Ahmad、Xiao Bai、Soomin Lee、KaiWei Chang。 0.66
2020. Select, extract and generate: Neural keyphrase generation with syntactic guidance. 2020. select, extract and generation: neural keyphrase generation with syntactic guidance(英語) 0.83
arXiv preprint arXiv:2008.01739. arXiv preprint arXiv:2008.01739。 0.64
Rabah Alzaidy, Cornelia Caragea, and C Lee Giles. Rabah Alzaidy、Cornelia Caragea、C Lee Giles。 0.67
2019. Bi-lstm-crf sequence labeling for keyphrase extraction from scholarly documents. 2019. 学術文献からのキーフレーズ抽出のためのbi-lstm-crf配列ラベリング 0.66
In The world wide web conference, pages 2551–2557. ワールドワイドウェブカンファレンスでは2551-2557頁。 0.72
Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E HinarXiv preprint Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E HinarXiv 0.64
ton. 2016. Layer normalization. トン 2016. 層正規化。 0.60
arXiv:1607.06450. arXiv:1607.06450。 0.48
Hou Pong Chan, Wang Chen, Lu Wang, and Irwin King. Hou Pong Chan、Wang Chen、Lu Wang、Irwin King。 0.65
2019. Neural keyphrase generation via reinforceIn Proceedment learning with adaptive rewards. 2019. 適応報酬を用いたReforceIn Proceedment Learningによるニューラルキーフレーズ生成 0.78
ings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2163–2174, Florence, Italy. 第57回計算言語学会年次大会、2163-2174頁、イタリア、フィレンツェ。 0.49
Association for Computational Linguistics. Jun Chen, Xiaoming Zhang, Yu Wu, Zhao Yan, and Zhoujun Li. 計算言語学会会員。 Jun Chen、Xiaoming Zhang、Yu Wu、Zhao Yan、およびZhoujun Li。 0.63
2018. Keyphrase generation with correlation constraints. 2018. 相関制約付きキーフレーズ生成。 0.79
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4057–4066. 2018年、Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, page 4057–4066。 0.77
Wang Chen, Hou Pong Chan, Piji Li, Lidong Bing, and Irwin King. Wang Chen, Hou Pong Chan, Piji Li, Lidong Bing, Irwin King 0.68
2019a. An integrated approach for keyphrase generation via exploring the power of reIn Proceedings of the 2019 trieval and extraction. 2019年。 キーフレーズ生成のための統合アプローチは、2019年のトライバルと抽出のrein手続きのパワーを探求することで実現される。
訳抜け防止モード: 2019年。 キーフレーズ生成のための統合的アプローチ reIn Proceedingsの2019年のトライアルと抽出のパワーを探求する。
0.71
Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 2846–2856. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 2846–2856. 0.79
Wang Chen, Hou Pong Chan, Piji Li, and Irwin King. Wang Chen, Hou Pong Chan, Piji Li, Irwin King。 0.72
2020. Exclusive hierarchical decoding for deep In Proceedings of the 58th keyphrase generation. 2020. 第58代キーフレーズの深部推論のための排他的階層的復号化 0.81
Annual Meeting of the Association for Computational Linguistics, pages 1095–1105. 計算言語学会年次総会 1095–1105頁。 0.48
Wang Chen, Yifan Gao, Jiani Zhang, Irwin King, and Michael R Lyu. Wang Chen、Yifan Gao、Jiani Zhang、Irwin King、Michael R Lyu。 0.69
2019b. Title-guided encoding for keyphrase generation. 2019年。 キーフレーズ生成のためのタイトル誘導符号化 0.63
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 6268–6275. The Proceedings of the AAAI Conference on Artificial Intelligence, Volume 33, page 6268–6275。 0.85
Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou 0.81
and Hsiao-Wuen Hon. そしてHsiao-Wuen Hon。 0.74
2019. Unified language model pre-training for natural language understanding and generation. 2019. 自然言語理解と生成のための統合言語モデル事前学習 0.85
In Advances in Neural Information Processing Systems, pages 13063–13075. ニューラル・インフォメーション・プロセッシング・システムにおける進歩は13063-13075ページである。 0.60
Anette Hulth. Anette Hulth 0.57
2003. Improved automatic keyword exIn Protraction given more linguistic knowledge. 2003. 言語知識が増すほど、自動キーワードexinプロトラクションが改善される。 0.69
ceedings of the 2003 Conference on Empirical Methods in Natural Language Processing, pages 216– 223. 2003年「自然言語処理における経験的手法に関する会議」ページ216-223。 0.76
Anette Hulth and Beata Megyesi. Anette HulthとBeata Megyesi。 0.76
2006. A study on automatically extracted keywords in text categorization. 2006. テキスト分類におけるキーワードの自動抽出に関する研究 0.82
In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pages 537–544. 第21回計算言語学国際会議および第44回計算言語学会年次総会の議事録537-544頁。 0.67
Su Nam Kim, Olena Medelyan, Min-Yen Kan, and Timothy Baldwin. Su Nam Kim、Olena Medelyan、Min-Yen Kan、Timothy Baldwin。 0.79
2010. Semeval-2010 task 5: Automatic keyphrase extraction from scientific articles. 2010. Semeval-2010 Task 5: 科学論文からの自動キーフレーズ抽出。 0.83
In Proceedings of the 5th International Workshop on Semantic Evaluation, pages 21–26. 第5回「意味評価に関する国際ワークショップ」第21-26頁。 0.68
Youngsam Kim, Munhyong Kim, Andrew Cattle, Julia Otmakhova, Suzi Park, and Hyopil Shin. Youngsam Kim、Munhyong Kim、Andrew Cattle、Julia Otmakhova、Suzi Park、Hyopil Shin。 0.71
2013. Applying graph-based keyword extraction to document retrieval. 2013. グラフに基づくキーワード抽出を文書検索に適用する。 0.75
In Proceedings of the Sixth International Joint Conference on Natural Language Processing, pages 864–868. 第6回自然言語処理国際共同会議では、864-868頁。 0.73
Patrice Lopez and Laurent Romary. パトリス・ロペスとローラン・ロメリー 0.52
2010. Humb: Automatic key term extraction from scientific articles In Proceedings of the 5th international in grobid. 2010. Humb: 科学論文からの自動キーターム抽出 グラビッドにおける第5回国際会議の成果。 0.78
workshop on semantic evaluation, pages 248–251. セマンティック評価ワークショップ、248–251頁。 0.64
Shuming Ma, Xu Sun, Yizhong Wang, and Junyang Lin. Shuming Ma, Xu Sun, Yizhong Wang, Junyang Lin 0.61
2018. Bag-of-words as target for neural machine translation. 2018. ニューラルマシン翻訳のターゲットとしての単語の袋 0.76
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 332–338. 第56回計算言語学会年次大会(第2部:短文)において,332-338頁。 0.58
Olena Medelyan, Eibe Frank, and Ian H Witten. Olena Medelyan, Eibe Frank, Ian H Witten。 0.73
2009. Human-competitive tagging using automatic In Proceedings of the 2009 keyphrase extraction. 2009. 2009年キーフレーズ抽出における自動In Proceedingsを用いた人為的タギング 0.77
conference on empirical methods in natural language processing, pages 1318–1327. 自然言語処理における経験的手法に関する会議、1318-1327頁。 0.64
Rui Meng, Xingdi Yuan, Tong Wang, Rui Meng, Xingdi Yuan, Tong Wang, 0.85
Peter Brusilovsky, Adam Trischler, and Daqing He. Peter Brusilovsky、Adam Trischler、Daqing He。 0.64
2019. Does order matter? 2019. 秩序は重要か? 0.77
an empirical study on generating multiple keyphrases as a sequence. 複数のキーフレーズをシーケンスとして生成する経験的研究。 0.73
arXiv preprint arXiv:1909.03590. arXiv preprint arXiv:1909.03590 0.71
Rui Meng, Sanqiang Zhao, Shuguang Han, Daqing He, Peter Brusilovsky, and Yu Chi. Rui Meng, Sanqiang Zhao, Shuguang Han, Daqing He, Peter Brusilovsky, Yu Chi 0.69
2017. Deep In Proceedings of the 55th keyphrase generation. 2017. 第55代キーフレーズ生成過程の深部解析 0.77
Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 582–592. 計算言語学会年次総会(第1巻:長い論文)、532-592頁。 0.55
Rada Mihalcea and Paul Tarau. ラダ・ミハルセアとポール・タラウ。 0.55
2004. Textrank: Bringing order into text. 2004. Textrank: テキストに順序を持ち込む。 0.84
In Proceedings of the 2004 conference on empirical methods in natural language processing, pages 404–411. 2004年のProceedings of the 2004 Conference on empirical methods in natural language processing, page 404–411。 0.82
英語(論文から抽出)日本語訳スコア
Thuy Dung Nguyen and Min-Yen Kan. 2007. 2007年、Thuy Dung NguyenとMin-Yen Kan。 0.67
Keyphrase extraction in scientific publications. 科学論文におけるキーワード抽出 0.73
In International conference on Asian digital libraries, pages 317–326. アジアデジタル図書館国際会議 317-326頁。 0.65
Springer. Hai Ye and Lu Wang. Springer とLu Wangは言う。 0.54
2018. Semi-supervised learning for neural keyphrase generation. 2018. 半教師付き学習によるニューラルキーフレーズ生成 0.73
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4142–4153. 自然言語処理における経験的手法に関する2018年会議の議題4142-4153頁。 0.68
Ramakanth Pasunuru and Mohit Bansal. Ramakanth PasunuruとMohit Bansal。 0.69
2018. Multireward reinforced summarization with saliency and entailment. 2018. 多方向強化サリエンスとエンテーメントによる要約。 0.70
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 646– 653. the association for computational linguistics: human language technologies, volume 2 (short papers), pages 646–653. 2018 conference of the north american chapter of the association for computational linguistics: human language technologies, volume 2 (short papers), pp. 646–653。 0.61
Xingdi Yuan, Tong Wang, Rui Meng, Khushboo Thaker, Peter Brusilovsky, Daqing He, and Adam Trischler. Xingdi Yuan、Tong Wang、Rui Meng、Khushboo Thaker、Peter Brusilovsky、Daqing He、Adam Trischler。 0.68
2020. One size does not fit all: Generating and evaluating variable number of keyphrases. 2020. 1つのサイズは、すべてに合わない: 可変数のキーフレーズの生成と評価。 0.75
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 7961– 7975. 58th Annual Meeting of the Association for Computational Linguistics』7961-7975頁。 0.65
Qi Zhang, Yang Wang, Yeyun Gong, and Xuan-Jing Huang. Qi Zhang, Yang Wang, Yeyun Gong, Xuan-Jing Huang。 0.83
2016. Keyphrase extraction using deep recurrent neural networks on twitter. 2016. twitterにおけるディープリカレントニューラルネットワークを用いたキーフレーズ抽出 0.78
In Proceedings of the 2016 conference on empirical methods in natural language processing, pages 836–845. 2016年のProceedings of the 2016 Conference on empirical methods in natural language processing, page 836–845。 0.80
Jing Zhao and Yuxiang Zhang. Jing ZhaoとYuxiang Zhang。 0.78
2019. Incorporating linguistic constraints into keyphrase generation. 2019. 言語制約をキーフレーズ生成に組み込む。 0.76
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5224– 5233. 第57回計算言語学会年次大会(第5224-5233頁)の発刊。 0.57
Libo Qin, Wanxiang Che, Yangming Li, Mingheng Ni, and Ting Liu. Libo Qin、Wanxiang Che、Yangming Li、Mingheng Ni、Ting Liu。 0.64
2020a. Dcr-net: A deep co-interactive relation network for joint dialog act recognition and sentiment classification. 2020a dcr-net: 対話行為認識と感情分類のための深い協調関係ネットワーク。 0.75
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 8665–8672. The Proceedings of the AAAI Conference on Artificial Intelligence, Volume 34, page 8665–8672。 0.86
Libo Qin, Wanxiang Che, Yangming Li, Haoyang Wen, and Ting Liu. Libo Qin、Wanxiang Che、Yangming Li、Haoyang Wen、Ting Liu。 0.65
2019. A stack-propagation framework with token-level intent detection for spoken In Proceedings of the language understanding. 2019. 言語理解の手続きで話されるトークンレベルのインテント検出を備えたスタックプロパゲーションフレームワーク。 0.78
2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 2078–2087, Hong Kong, China. 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 2078–2087, Hong Kong, China 0.90
Association for Computational Linguistics. Libo Qin, Xiao Xu, Wanxiang Che, and Ting Liu. 計算言語学会会員。 Libo Qin、Xiao Xu、Wanxiang Che、Ting Liu。 0.59
2020b. AGIF: An adaptive graph-interactive framework for joint multiple intent detection and slot fillIn Findings of the Association for Computaing. 2020年。 agif: association for computaingのマルチインテント検出とスロットフィルイン検出のための適応型グラフ対話型フレームワーク。 0.71
tional Linguistics: EMNLP 2020, pages 1807–1816, Online. 言語学:EMNLP 2020, page 1807–1816, Online 0.82
Association for Computational Linguistics. Si Sun, Chenyan Xiong, Zhenghao Liu, Zhiyuan Liu, Joint keyphrase chunking arXiv preprint 計算言語学会会員。 Si Sun, Chenyan Xiong, Zhenghao Liu, Zhiyuan Liu, Joint Keyphrase chunking arXiv preprint 0.68
and Jie Bao. そして、Jie Bao。 0.85
2020. and salience ranking with bert. 2020年とサリエンスランキングで バートと 0.59
arXiv:2004.13639. arxiv: 2004.13639。 0.26
Xiaojun Wan and Jianguo Xiao. Xiaojun WanとJianguo Xiao。 0.74
2008. Single document keyphrase extraction using neighborhood knowledge. 2008. 近傍知識を用いた単一文書キーフレーズ抽出 0.81
In AAAI, volume 8, pages 855–860. aaai, volume 8, pp. 855–860。 0.69
Lu Wang and Claire Cardie. ルー・ワンとクレア・カーディ 0.41
2013. Domainindependent abstract generation for focused meeting summarization. 2013. 集中会議要約のためのドメイン依存抽象生成 0.76
In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1395– 1405. 第51回計算言語学会年次総会(第1巻:長い論文)では、1395-1405頁。 0.52
Yue Wang, Jing Li, Hou Pong Chan, Irwin King, Michael R Lyu, and Shuming Shi. Yue Wang, Jing Li, Hou Pong Chan, Irwin King, Michael R Lyu, Shuming Shi 0.70
2019. Topicaware neural keyphrase generation for social media language. 2019. ソーシャルメディア言語のためのトピカウェア神経キーフレーズ生成 0.77
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2516–2526. 第57回計算言語学会年次大会, 2516-2526頁 0.47
Ian H Witten, Gordon W Paynter, Eibe Frank, Carl Gutwin, and Craig G Nevill-Manning. Ian H Witten, Gordon W Paynter, Eibe Frank, Carl Gutwin, Craig G Nevill-Manning 0.83
2005. Kea: Practical automated keyphrase extraction. 2005. Kea: 実用的な自動キーフレーズ抽出。 0.77
In Design and Usability of Digital Libraries: Case Studies in the Asia Pacific, pages 129–152. In Design and Usability of Digital Libraries: Case Studies in the Asia Pacific, page 129–152。 0.91
IGI global. IGIグローバル。 0.71
英語(論文から抽出)日本語訳スコア
A Dataset Statistics Test データセット統計 テスト 0.76
Type Dataset Inspec NUS SemEval KP20k Validation KP20k Train KP20k 種類 データセット NUS SemEval KP20k Validation KP20k Train KP20k 0.70
#Examples Max/Avg #Tokens Max/Avg #Sentences #Examples Max/Avg #Tokens Max/Avg #Sentences 0.81
500 211 100 20000 20000 514154 500 211 100 20000 20000 514154 0.85
387.0 / 138.4 384.0 / 185.6 415.0 / 208.0 1116.0 / 178.9 1862.0 / 179.2 2924 / 177.9 387.0 / 138.4 384.0 / 185.6 415.0 / 208.0 1116.0 / 178.9 1862.0 / 179.2 2924 / 177.9 0.55
27.0 / 6.7 16.0 / 8.4 18 / 8.8 70.0 / 8.1 120 / 8.2 284 / 8.2 27.0 / 6.7 16.0 / 8.4 18 / 8.8 70.0 / 8.1 120 / 8.2 284 / 8.2 0.60
Table 6: Summary of the dataset used in experiments. 表6: 実験で使用されるデータセットの概要。 0.88
“#Examples” means the number of sample. はサンプルの数を意味する。 0.54
“#Tokens” means the number of token. "#tokens"はトークンの数を意味する。 0.76
“#Sentences” means the number of sentence. "#sentences"は文数を意味する。 0.66
Relevant statistics about the dataset used in this これに用いるデータセットに関する関連統計 0.81
paper is shown in Table 6. 紙は表6に示される。 0.84
B Experimental Details The BWC does not bring extra parameters, hence the trainable parameters of UniKeyphrase come from UNILM and SRL. b 実験の詳細 BWCは追加のパラメータを持ち込まないため、UniKeyphraseのトレーニング可能なパラメータはUNILMとSRLから来ている。 0.80
We use the base version of UNILM, which contains about 110M parameters. 約110万のパラメータを含むUNILMのベースバージョンを使用します。 0.71
Follow UNILM, our model is implemented using PyTorch. UNILMの後に、我々のモデルはPyTorchを使って実装される。 0.50
The learning rate is 1e-5 and the proportion of warmup steps is 0.1. 学習率は1e-5であり、ウォームアップステップの割合は0.1である。 0.57
The masking probability of absent keyphrase sequence is 0.7. 欠失キーフラーゼ配列のマスキング確率は0.7である。 0.73
For the SRL module, dropout is applied to the output of each layer for regularization, the dropout rate is 0.5. SRLモジュールでは、各層の出力にドロップアウトを適用して正規化し、ドロップアウト率は0.5である。 0.70
In this paper, we try to set the number of layer by 2,3,4 and choose the best based on validation. 本稿では,レイヤ数を2,3,4に設定し,検証に基づいてベストを選択する。 0.75
For all experiments in this paper, we choose the model that performs best on the KP20k validation dataset. 本論文では,KP20k検証データセット上で最高の性能を示すモデルを選択する。 0.77
C Preprocess The input of UniKeyphrase is the same as BERT, which applies wordpiece tokenizer on raw sentences. C前処理 unikeyphrase の入力は bert と同じであり、生文に wordpiece tokenizer を適用する。 0.72
So we use the “BIXO” labeling method, where B and I stand for Beginning and Inside of a word in keyphrases, and O denotes any token that Outside of any keyphrase. そこで私たちは“bixo”というラベリングメソッドを使い、bとiはキーフレーズの単語の始まりと内側を表し、oはあらゆるキーフレーズの外にあるトークンを表します。 0.75
For any sub-word token in keyphrases(which starts with ‘##’ in processed input) we use X to label it. keyphrasesのサブワードトークン(処理された入力で‘##’で始まる)については、xを使ってラベルを付けます。 0.71
For example, “voip conferencing system” will be tokenized into “v ##oi ##p con ##fer ##encing system” and be labeled as “B X X I X X I”. 例えば、“voip会議システム”は“v ##oi ##p con ##fer ##encing system”にトークン化され、“b x x i x x i”とラベル付けされる。 0.77
We concatenate all the tokenized absent keyphrases into one sequence using a special delimiter “ ; ”. トークン化されていないすべてのキーフレーズを特別なデリミタ“ ; ”を使って1つのシーケンスにまとめる。 0.59
An example of absent keyphrase sequence will like “peer to peer ; content delivery ; t ##f ##rc ; ran ##su ##b”. 欠落したキーフレーズシーケンスの例として、“peer to peer ; content delivery ; t ##f ##rc ; run ##su ##b” がある。 0.87
Figure 6: Case study. 図6: ケーススタディ。 0.70
D Case Study We give a case on the KP20k testset in Figure 6. D ケーススタディ 図 6 の KP20k テストセットに関する事例を示す。 0.79
For fairness, we compare with keyphrase generation based on UNILM since our joint models are based on its implementation. 公平性については,ジョイントモデルがその実装に基づいているため,unilmに基づくkeyphrase生成と比較する。 0.67
Blue and red denote correct present and absent keyphrases, respectively. 青と赤は、それぞれ正しい現在と不在のキーフレーズを表す。 0.68
As shown in Figure 6, UniKeyphrase successfully catches the deep semantic relation similar to the case in the introduction, but here are “methods” for the absent and “application” for the present. 図6に示すように、unikeyphraseは導入時のケースと同様の深い意味的関係をうまく捉えていますが、ここでは不在のメソッドと現在の“アプリケーション”を紹介します。 0.76
Having caught this relation, UniKeyphrase gives more accurate results(predicts absent keyphrases “game theory”). この関係を捉えたUniKeyphraseはより正確な結果を与える(不在なキーフレーズ"ゲーム理論"を予測する)。 0.74
E Evaluation Details We use F1@5 and F1@M as evaluation metric. E 評価の詳細 F1@5 と F1@M を評価指標として使用します。 0.71
For calculating F1@5, since there is no explicit rank score for each predicted keyphrase, we calculate the rank score as follows: F1@5の計算には、予測キーフレーズごとに明確なランクスコアがないため、次のようにランクスコアを算出する。 0.72
Present: we calculate the average predicted label probabilities of all tokens in a keyphrase as the score. 現在,キーフレーズ中の全てのトークンの平均ラベル確率をスコアとして計算している。 0.75
We tried several other scoring strategies like max, min, or the first token’s probability as the score. スコアとして、maxやmin、最初のトークンの確率など、いくつかのスコア戦略を試しました。
訳抜け防止モード: 私たちはmax, min, などの他のスコア戦略を試しました。 あるいはスコアとして最初のトークンの確率です。
0.66
The results show no significant difference(less than 0.1%). その結果,有意差は認められなかった(0.1%未満)。 0.68
Absent: following previous works, we pick up the top 5 keyphrases in sequence order. Absent: 以前の作業に続いて,トップ5のキーフレーズをシーケンス順にピックアップします。 0.78
The 5 leftmost keyphrases in the predicted sequence are selected as the result. その結果、予測シーケンスの最左端の5つのキーフレーズが選択される。 0.73
Document:improvingre liabilityofasharedsu pplierwithcompetitio nandspillovers.study spillovereffectoncom petingmanufacturersi ncentivestoimproveas uppliersreliability. developatwostagemode lwithsupplierimprove ment,randomsupplyand demand,andcompetitio n.characterizemanufa cturersequilibriumin ventorydecision.char acterizesufficientco nditionsofexistenceo fequilibriumofmanufa cturersimprovementef forts.exploreimpacto fmarketcharacteristi csonmanufacturersimp rovementefforts.Pres entGroundTruth:{spillover,reliabilit y,supplierimprovemen t}UNILM(Generative):1. spillover2.competiti on3.supplierimprovem entUniKeyphrase:1.su pplierimprovement2.i nventory3.randomsupp lyanddemand4.competi tion5.reliability6.s pillover7.equilibriu m8.suppliersAbsentGr oundTruth:{supplychainmanagemen t,gametheory}UNILM(Generative):1. supplychainmanagemen tUniKeyphrase:1.supp lychainreliability2. supplychainmanagemen t3.gametheory Document:improvingre liabilityofasharedsu pplierwithcompetitio nandspillovers.study spillovereffectoncom petingmanufacturersi ncentivestoimproveas uppliersreliability. developatwostagemode lwithsupplierimprove ment,randomsupplyand demand,andcompetitio n.characterizemanufa cturersequilibriumin ventorydecision.char acterizesufficientco nditionsofexistenceo fequilibriumofmanufa cturersimprovementef forts.exploreimpacto fmarketcharacteristi csonmanufacturersimp rovementefforts.Pres entGroundTruth:{spillover,reliabilit y,supplierimprovemen t}UNILM(Generative):1. spillover2.competiti on3.supplierimprovem entUniKeyphrase:1.su pplierimprovement2.i nventory3.randomsupp lyanddemand4.competi tion5.reliability6.s pillover7.equilibriu m8.suppliersAbsentGr oundTruth:{supplychainmanagemen t,gametheory}UNILM(Generative):1. supplychainmanagemen tUniKeyphrase:1.supp lychainreliability2. supplychainmanagemen t3.gametheory 0.10
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。