論文の概要: Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study
- arxiv url: http://arxiv.org/abs/2212.10233v1
- Date: Tue, 20 Dec 2022 13:20:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 15:29:33.059334
- Title: Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study
- Title(参考訳): キーワード生成のための事前学習型言語モデル:詳細な実証研究
- Authors: Di Wu, Wasi Uddin Ahmad, Kai-Wei Chang
- Abstract要約: 事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
- 参考スコア(独自算出の注目度): 79.89243843859586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural models that do not rely on pre-training have excelled in the keyphrase
generation task with large annotated datasets. Meanwhile, new approaches have
incorporated pre-trained language models (PLMs) for their data efficiency.
However, there lacks a systematic study of how the two types of approaches
compare and how different design choices can affect the performance of
PLM-based models. To fill in this knowledge gap and facilitate a more informed
use of PLMs for keyphrase extraction and keyphrase generation, we present an
in-depth empirical study. Formulating keyphrase extraction as sequence labeling
and keyphrase generation as sequence-to-sequence generation, we perform
extensive experiments in three domains. After showing that PLMs have
competitive high-resource performance and state-of-the-art low-resource
performance, we investigate important design choices including in-domain PLMs,
PLMs with different pre-training objectives, using PLMs with a parameter
budget, and different formulations for present keyphrases. Further results show
that (1) in-domain BERT-like PLMs can be used to build strong and
data-efficient keyphrase generation models; (2) with a fixed parameter budget,
prioritizing model depth over width and allocating more layers in the encoder
leads to better encoder-decoder models; and (3) introducing four in-domain
PLMs, we achieve a competitive performance in the news domain and the
state-of-the-art performance in the scientific domain.
- Abstract(参考訳): 事前トレーニングに依存しないニューラルモデルは、大きな注釈付きデータセットを持つkeyphrase生成タスクに優れている。
一方、新しいアプローチでは、データ効率のために事前学習言語モデル(plm)が組み込まれている。
しかしながら、2つのタイプのアプローチがどのように比較され、異なる設計選択がPLMベースのモデルの性能にどのように影響するかという体系的な研究は欠如している。
この知識ギャップを埋め、キーフレーズ抽出とキーフレーズ生成にPLMのより情報的利用を促進するために、我々は詳細な実験研究を行った。
配列ラベリングとしてのkeyphrase抽出とシーケンシャル・ツー・シーケンス生成のkeyphrase生成を定式化した。
PLMは、高リソース性能と最先端の低リソース性能の競争力を持つことを示した後、ドメイン内PLM、異なる事前学習目標を持つPLM、パラメータ予算を持つPLM、および現在のキーフレーズに対する異なる定式化を含む重要な設計選択について検討する。
さらに,(1)領域内のBERT様PLMは,強大かつデータ効率のよいキーフレーズ生成モデルの構築に利用でき,(2)パラメータ予算の固定化により,エンコーダ内のモデル深度を優先し,より多くの層を割り当てることで,エンコーダ・デコーダモデルの改善,(3)ドメイン内PLMの4つの導入により,科学領域におけるニュースドメインにおける競合性能と最先端のパフォーマンスを実現する。
関連論文リスト
- Few-shot learning for automated content analysis: Efficient coding of
arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。
これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。
我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
論文 参考訳(メタデータ) (2023-12-28T11:39:08Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - Benchmarking Large Language Model Capabilities for Conditional
Generation [15.437176676169997]
既存のアプリケーション固有の生成ベンチマークをPLMに適応させる方法について論じる。
PLMは異なるデータ体系に適用可能であり、複数の言語に一般化可能であることを示す。
論文 参考訳(メタデータ) (2023-06-29T08:59:40Z) - Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。
提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
論文 参考訳(メタデータ) (2022-03-15T17:48:04Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳(メタデータ) (2020-10-24T08:11:23Z) - Diverse Keyphrase Generation with Neural Unlikelihood Training [6.645227801791013]
多様性の観点からシーケンス・ツー・シーケンス(S2S)キーフレーズ生成モデルについて検討した。
我々はまず、最大推定(MLE)を用いて訓練されたベースラインモデルにより生成された出力に含まれる情報冗長度について分析する。
論文 参考訳(メタデータ) (2020-10-15T11:12:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。