論文の概要: On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation

• arxiv url: http://arxiv.org/abs/2402.14052v1
• Date: Wed, 21 Feb 2024 18:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 17:21:07.920729
• Title: On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation
• Title（参考訳）: キーフレーズ生成のためのエンコーダ専用事前学習言語モデルの利用について
• Authors: Di Wu, Wasi Uddin Ahmad, Kai-Wei Chang
• Abstract要約: 本研究では、キーフレーズ生成(KPG)におけるエンコーダのみの事前学習言語モデル(PLM)の適用について述べる。 エンコーダのみの PLM では、条件付きランダムフィールドを持つ KPE は、現在のキーフレーズの同定においてわずかに優れているが、KPG の定式化はキーフレーズの予測の幅広いスペクトルを表現している。 また,エンコーダのみの PLM を用いたエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深度に対するパラメータ割り当てが望ましいことを示す。
• 参考スコア（独自算出の注目度）: 76.52997424694767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study addresses the application of encoder-only Pre-trained Language Models (PLMs) in keyphrase generation (KPG) amidst the broader availability of domain-tailored encoder-only models compared to encoder-decoder models. We investigate three core inquiries: (1) the efficacy of encoder-only PLMs in KPG, (2) optimal architectural decisions for employing encoder-only PLMs in KPG, and (3) a performance comparison between in-domain encoder-only and encoder-decoder PLMs across varied resource settings. Our findings, derived from extensive experimentation in two domains reveal that with encoder-only PLMs, although KPE with Conditional Random Fields slightly excels in identifying present keyphrases, the KPG formulation renders a broader spectrum of keyphrase predictions. Additionally, prefix-LM fine-tuning of encoder-only PLMs emerges as a strong and data-efficient strategy for KPG, outperforming general-domain seq2seq PLMs. We also identify a favorable parameter allocation towards model depth rather than width when employing encoder-decoder architectures initialized with encoder-only PLMs. The study sheds light on the potential of utilizing encoder-only PLMs for advancing KPG systems and provides a groundwork for future KPG methods. Our code and pre-trained checkpoints are released at https://github.com/uclanlp/DeepKPG.
• Abstract（参考訳）: 本研究は、エンコーダ-デコーダモデルと比較して、ドメイン調整エンコーダのみのモデルが広く利用可能である中で、キーフレーズ生成(KPG)におけるエンコーダ専用事前訓練言語モデル(PLM)の適用について述べる。 KPGにおけるエンコーダのみ PLM の有効性,(2) KPGにおけるエンコーダのみ PLM の最適なアーキテクチャ決定,(3) ドメイン内エンコーダのみ PLM とエンコーダ側 PLM の各種リソース設定における性能比較,の3点について検討する。 2つの領域での広範な実験から得られた知見は、エンコーダのみのPLMでは、条件付きランダムフィールドを持つKPEは、現在のキーフレーズの同定においてわずかに優れているが、KPGの定式化はキーフレーズ予測の幅広いスペクトルを表現していることを示している。 さらに、エンコーダのみの PLM のプレフィックス-LM 微調整は、汎用領域 Seq2seq PLM よりも優れた KPG の強力なデータ効率戦略として現れる。 また,エンコーダのみの PLM を初期化したエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深さに対するパラメータ割り当てが望ましい。 この研究は、エンコーダのみのPLMをKPGシステムの発展に活用する可能性に光を当て、今後のKPG手法の基礎を提供する。 私たちのコードと事前訓練されたチェックポイントはhttps://github.com/uclanlp/DeepKPG.orgで公開されています。

関連論文リスト

• Are Decoder-Only Large Language Models the Silver Bullet for Code Search? [32.338318300589776]
  本研究では,コード検索のためのデコーダのみの大規模言語モデルについて,初めて体系的な検討を行った。 2つの微調整法、2つのデータセット、3つのモデルサイズを用いて、最先端デコーダのみの9つのモデルを評価する。 この結果,微調整のCodeGemmaはUniXcoderのようなエンコーダのみのモデルよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T17:05:25Z)
• How to get better embeddings with code pre-trained models? An empirical study [6.220333404184779]
  下流分類タスクの埋め込みを生成するために,5つの異なるコード事前訓練モデル(PTM)について検討する。 特別なトークンによって得られた埋め込みは、コードスニペット全体の意味情報を十分に集約していないことが分かりました。 PTMの事前学習と同様、コードデータとテキストデータをマージして得られるコード埋め込みの品質は低く、よりリッチなセマンティック情報を保証できない。
  論文  参考訳（メタデータ） (2023-11-14T10:44:21Z)
• Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models [76.52997424694767]
  キーフレーズ生成(英: Keyphrase Generation, KPG)は、NLPにおける長年の課題である。 Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。 本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
  論文  参考訳（メタデータ） (2023-10-10T07:34:45Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• CRISP: Curriculum based Sequential Neural Decoders for Polar Code Family [45.74928228858547]
  我々は、新しい$textbfC$urtextbfRI$culumベースの$textbfS$equential neural decoder for $textbfP$olar codes (CRISP)を紹介する。 CRISPは、Polar(32,16)およびPolar(64,22)符号に対して、ほぼ最適の信頼性性能が得られることを示す。 CRISPはPolaization-Adjusted-Convolutional (PAC) コードに容易に拡張でき、既存のSCデコーダは信頼性が著しく低い。
  論文  参考訳（メタデータ） (2022-10-01T16:26:24Z)
• Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring [83.32560748324667]
  本稿では,非自己回帰モデルに基づく効率的なエンドツーエンド音声翻訳(E2E-ST)フレームワークについて述べる。 我々は,共有エンコーダ上にNARデコーダと補助的な浅層ARデコーダを備えた,Orthrosと呼ばれる統一NAR E2E-STフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-09T16:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。