論文の概要: Select, Extract and Generate: Neural Keyphrase Generation with
Layer-wise Coverage Attention
- arxiv url: http://arxiv.org/abs/2008.01739v2
- Date: Fri, 4 Jun 2021 20:50:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 00:14:15.136303
- Title: Select, Extract and Generate: Neural Keyphrase Generation with
Layer-wise Coverage Attention
- Title（参考訳）: Select, Extract and Generate: Layer-wise Coverage Attentionによるニューラルキーフレーズ生成
- Authors: Wasi Uddin Ahmad and Xiao Bai and Soomin Lee and Kai-Wei Chang
- Abstract要約: 本稿では,2つの主要成分からなるニューラルキーフレーズ生成モデルであるemphSEG-Netを提案する。
科学的およびWeb文書から得られた7つのキーフレーズ生成ベンチマークの実験結果は、SEG-Netが最先端のニューラル生成手法よりも大きなマージンで優れていることを示している。
- 参考スコア（独自算出の注目度）: 75.44523978180317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language processing techniques have demonstrated promising results in
keyphrase generation. However, one of the major challenges in \emph{neural}
keyphrase generation is processing long documents using deep neural networks.
Generally, documents are truncated before given as inputs to neural networks.
Consequently, the models may miss essential points conveyed in the target
document. To overcome this limitation, we propose \emph{SEG-Net}, a neural
keyphrase generation model that is composed of two major components, (1) a
selector that selects the salient sentences in a document and (2) an
extractor-generator that jointly extracts and generates keyphrases from the
selected sentences. SEG-Net uses Transformer, a self-attentive architecture, as
the basic building block with a novel \emph{layer-wise} coverage attention to
summarize most of the points discussed in the document. The experimental
results on seven keyphrase generation benchmarks from scientific and web
documents demonstrate that SEG-Net outperforms the state-of-the-art neural
generative methods by a large margin.
- Abstract（参考訳）: 自然言語処理技術はキーフレーズ生成において有望な結果を示した。
しかし、emph{neural} keyphrase生成における大きな課題の1つは、ディープニューラルネットワークを使用して長い文書を処理することである。
一般に、ドキュメントはニューラルネットワークへの入力として与えられる前に切り離される。
したがって、モデルは、対象ドキュメントで伝達される必須ポイントを見逃す可能性がある。
この制限を克服するため,(1)文書中の有意な文を選択するセレクタ,(2)選択した文からキーワードを抽出し生成する抽出器・ジェネレータの2つの主要成分からなるニューラルキーフレーズ生成モデルである「emph{SEG-Net}」を提案する。
SEG-Netはトランスフォーマー(Transformer)という自己注意型アーキテクチャを使って、文書で論じられたポイントのほとんどを要約するために、新しい 'emph{layer-wise} カバレッジを持つ基本的なビルディングブロックである。
科学的およびWeb文書から得られた7つのキーフレーズ生成ベンチマークの実験結果は、SEG-Netが最先端のニューラル生成手法よりも大きなマージンで優れていることを示している。
関連論文リスト
- Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-02-27T14:16:19Z) - SimCKP: Simple Contrastive Learning of Keyphrase Representations [36.88517357720033]
そこで本論文では,(1)文脈認識型フレーズレベルの表現からキーフレーズを抽出する抽出器・ジェネレータと,(2)生成したフレーズのスコアを対応する文書と整列させることで,文書に現れないキーフレーズを生成するリランカと,の2つの段階からなる単純なコントラスト学習フレームワークであるSimCKPを提案する。
論文 参考訳（メタデータ） (2023-10-12T11:11:54Z) - Neural Keyphrase Generation: Analysis and Evaluation [47.004575377472285]
本稿では,T5(事前学習型トランスフォーマー),CatSeq-Transformer(非事前学習型トランスフォーマー),ExHiRD(リカレントニューラルネットワーク)の3つの強力なモデルで示される傾向について検討する。
2つのキーフレーズの類似性を評価するために,SoftKeyScoreという新しいメトリクスフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-27T00:10:21Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳（メタデータ） (2021-10-12T22:42:31Z) - SGG: Learning to Select, Guide, and Generate for Keyphrase Generation [38.351526320316786]
キーフレーズは、文書で議論されたハイレベルなトピックを簡潔に要約します。
ほとんどの既存のキーフレーズ生成アプローチは、現在および不在のキーフレーズを同期的に生成する。
本稿では,現在および欠落したキーフレーズ生成を別々に扱うSelect-Guide-Generate(SGG)アプローチを提案する。
論文 参考訳（メタデータ） (2021-05-06T09:43:33Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳（メタデータ） (2020-10-24T08:11:23Z) - A Joint Learning Approach based on Self-Distillation for Keyphrase
Extraction from Scientific Documents [29.479331909227998]
キーフレーズ抽出(英: Keyphrase extract)は、文書を最もよく記述するフレーズの小さなセットを抽出するタスクである。
タスクの既存のベンチマークデータセットは、通常、注釈付きドキュメントの数に制限がある。
本稿では, 自己蒸留の考え方に基づく, シンプルで効率的な共同学習手法を提案する。
論文 参考訳（メタデータ） (2020-10-22T18:36:31Z) - Keyphrase Generation with Cross-Document Attention [28.565813544820553]
キーワード生成は、与えられた文書の本質を要約した一連のフレーズを作成することを目的としている。
本稿では,トランスフォーマーをグローバルな注目を集めるキーフレーズ生成装置CDKGenを提案する。
また,キーフレーズ中の語彙外単語を扱うために,文書から適切な単語を選択することで,モデルを強化するコピー機構も採用している。
論文 参考訳（メタデータ） (2020-04-21T07:58:27Z) - Keyphrase Extraction with Span-based Feature Representations [13.790461555410747]
キーフレーズは、文書を特徴付ける意味メタデータを提供することができる。
キーフレーズ抽出のための3つのアプローチ: (i) 従来の2段階ランキング法、 (ii) シーケンスラベリング、 (iii) ニューラルネットワークを用いた生成。
本稿では,すべてのコンテンツトークンから直接,キーフレーズのスパン的特徴表現を抽出する新規スパンキーフレーズ抽出モデルを提案する。
論文 参考訳（メタデータ） (2020-02-13T09:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。