論文の概要: Rethinking Model Selection and Decoding for Keyphrase Generation with
Pre-trained Sequence-to-Sequence Models
- arxiv url: http://arxiv.org/abs/2310.06374v2
- Date: Sun, 22 Oct 2023 08:37:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 06:50:06.952250
- Title: Rethinking Model Selection and Decoding for Keyphrase Generation with
Pre-trained Sequence-to-Sequence Models
- Title(参考訳): 事前学習列列モデルを用いたキーワード生成のためのモデル選択と復号化の検討
- Authors: Di Wu, Wasi Uddin Ahmad, Kai-Wei Chang
- Abstract要約: キーフレーズ生成(英: Keyphrase Generation, KPG)は、NLPにおける長年の課題である。
Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。
本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
- 参考スコア(独自算出の注目度): 76.52997424694767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Keyphrase Generation (KPG) is a longstanding task in NLP with widespread
applications. The advent of sequence-to-sequence (seq2seq) pre-trained language
models (PLMs) has ushered in a transformative era for KPG, yielding promising
performance improvements. However, many design decisions remain unexplored and
are often made arbitrarily. This paper undertakes a systematic analysis of the
influence of model selection and decoding strategies on PLM-based KPG. We begin
by elucidating why seq2seq PLMs are apt for KPG, anchored by an
attention-driven hypothesis. We then establish that conventional wisdom for
selecting seq2seq PLMs lacks depth: (1) merely increasing model size or
performing task-specific adaptation is not parameter-efficient; (2) although
combining in-domain pre-training with task adaptation benefits KPG, it does
partially hinder generalization. Regarding decoding, we demonstrate that while
greedy search achieves strong F1 scores, it lags in recall compared with
sampling-based methods. Based on these insights, we propose DeSel, a
likelihood-based decode-select algorithm for seq2seq PLMs. DeSel improves
greedy search by an average of 4.7% semantic F1 across five datasets. Our
collective findings pave the way for deeper future investigations into
PLM-based KPG.
- Abstract(参考訳): keyphrase generation (kpg) はnlpの長年にわたるタスクであり、広く応用されている。
sequence-to-sequence (seq2seq) pre-trained language model (plms) の出現は、kpgの変革期を告げ、有望なパフォーマンス改善をもたらした。
しかし、多くの設計決定は未検討のままであり、しばしば任意に行われる。
本稿では,plmベースのkpgに対するモデル選択と復号戦略の影響を体系的に分析する。
まず,seq2seq plmがkpgに適している理由を明らかにする。
1) モデルサイズを増加させたり,タスク固有の適応を実行するだけではパラメータ効率が向上しない,(2) ドメイン内事前トレーニングとタスク適応の併用はkpgの利点だが,一般化を部分的に妨げている。
復号化に関しては,グリージー検索はF1スコアが強いが,サンプリング法に比べて遅延が小さいことを示す。
これらの知見に基づいて,Seq2seq PLMのための確率ベースデコード選択アルゴリズムであるDeSelを提案する。
DeSelは5つのデータセットで平均4.7%のセマンティックF1による欲求検索を改善している。
本研究は, PLM を用いた KPG の今後の研究の道を開くものである。
関連論文リスト
- On Leveraging Encoder-only Pre-trained Language Models for Effective
Keyphrase Generation [76.52997424694767]
本研究では、キーフレーズ生成(KPG)におけるエンコーダのみの事前学習言語モデル(PLM)の適用について述べる。
エンコーダのみの PLM では、条件付きランダムフィールドを持つ KPE は、現在のキーフレーズの同定においてわずかに優れているが、KPG の定式化はキーフレーズの予測の幅広いスペクトルを表現している。
また,エンコーダのみの PLM を用いたエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深度に対するパラメータ割り当てが望ましいことを示す。
論文 参考訳(メタデータ) (2024-02-21T18:57:54Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Ranking-based Adaptive Query Generation for DETRs in Crowded Pedestrian
Detection [49.27380156754935]
DETRのクエリの数は手動で調整しなければなりませんが、そうでなければ、パフォーマンスは様々な程度に低下します。
本稿では,ランクに基づく適応クエリ生成(RAQG)を提案し,問題を緩和する。
提案手法は単純かつ効果的であり,任意のDETRにプラグインすることで,理論上クエリ適応性を実現する。
論文 参考訳(メタデータ) (2023-10-24T11:00:56Z) - Stopping Criteria for Value Iteration on Stochastic Games with
Quantitative Objectives [0.0]
マルコフ決定過程(MDP)とゲーム(SG)の古典的解法は価値(VI)である
本稿では、SG 上での VI の停止基準を、全報酬と平均ペイオフで提供し、これらの設定で最初にアルゴリズムを出力する。
論文 参考訳(メタデータ) (2023-04-19T19:09:55Z) - An Empirical Study of Pre-trained Language Models in Simple Knowledge
Graph Question Answering [28.31377197194905]
大規模事前学習型言語モデル(PLM)は、最近大きな成功を収め、自然言語処理(NLP)のマイルストーンとなった。
近年、知識グラフ質問応答 (KGQA) の研究において、BERT やその変種は KGQA モデルにおいて必要となっている。
我々は、KGQAにおける異なるPLMの性能を比較し、より大規模なKGに対する3つのベンチマークを示す。
論文 参考訳(メタデータ) (2023-03-18T08:57:09Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z) - GROOT: Corrective Reward Optimization for Generative Sequential Labeling [10.306943706927004]
テキストシーケンスの生成的リワード最適化のためのフレームワークであるGROOTを提案する。
GROOTは生成逐次ラベリングモデルをトレーニングして、デコーダ出力分布と(ブラックボックス)報酬関数の値とを一致させる。
4つの公開ベンチマークで広範な実験によって示されたように、GROOTはすべての報酬指標を大幅に改善する。
論文 参考訳(メタデータ) (2022-09-29T11:35:47Z) - E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language
Understanding and Generation [95.49128988683191]
シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。
本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。
E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
論文 参考訳(メタデータ) (2022-05-30T08:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。