論文の概要: Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models

• arxiv url: http://arxiv.org/abs/2310.06374v1
• Date: Tue, 10 Oct 2023 07:34:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 18:31:49.970169
• Title: Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models
• Title（参考訳）: 事前学習列列モデルを用いたキーワード生成のためのモデル選択と復号化の検討
• Authors: Di Wu, Wasi Uddin Ahmad, Kai-Wei Chang
• Abstract要約: キーフレーズ生成はNLPにおける長年のタスクであり、広く応用されている。 Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。 本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
• 参考スコア（独自算出の注目度）: 76.52997424694767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyphrase Generation (KPG) is a longstanding task in NLP with widespread applications. The advent of sequence-to-sequence (seq2seq) pre-trained language models (PLMs) has ushered in a transformative era for KPG, yielding promising performance improvements. However, many design decisions remain unexplored and are often made arbitrarily. This paper undertakes a systematic analysis of the influence of model selection and decoding strategies on PLM-based KPG. We begin by elucidating why seq2seq PLMs are apt for KPG, anchored by an attention-driven hypothesis. We then establish that conventional wisdom for selecting seq2seq PLMs lacks depth: (1) merely increasing model size or performing task-specific adaptation is not parameter-efficient; (2) although combining in-domain pre-training with task adaptation benefits KPG, it does partially hinder generalization. Regarding decoding, we demonstrate that while greedy search delivers strong F1 scores, it lags in recall compared with sampling-based methods. From our insights, we propose DeSel, a likelihood-based decode-select algorithm that improves greedy search by an average of 4.7% semantic F1 across five datasets. Our collective findings pave the way for deeper future investigations into PLM-based KPG.
• Abstract（参考訳）: keyphrase generation (kpg) はnlpの長年にわたるタスクであり、広く応用されている。 sequence-to-sequence (seq2seq) pre-trained language model (plms) の出現は、kpgの変革期を告げ、有望なパフォーマンス改善をもたらした。 しかし、多くの設計決定は未検討のままであり、しばしば任意に行われる。 本稿では,plmベースのkpgに対するモデル選択と復号戦略の影響を体系的に分析する。 まず,seq2seq plmがkpgに適している理由を明らかにする。 1) モデルサイズを増加させたり,タスク固有の適応を実行するだけではパラメータ効率が向上しない,(2) ドメイン内事前トレーニングとタスク適応の併用はkpgの利点だが,一般化を部分的に妨げている。 復号化に関しては, グリージー検索はF1スコアが強いが, サンプリング法に比べて遅延が小さいことを示す。 そこで我々は,5つのデータセットで平均4.7%のセマンティックf1によって欲望検索を改善する確率に基づくデコード選択アルゴリズムdeselを提案する。 本研究は, PLM を用いた KPG の今後の研究の道を開くものである。

関連論文リスト

• Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
  知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。 近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。 コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:18:52Z)
• One2set + Large Language Model: Best Partners for Keyphrase Generation [42.969689556605005]
  キーワード生成(KPG)は、与えられたドキュメントの中核概念を表すフレーズの集合を自動的に生成することを目的としている。 KPGを2つのステップに分解するジェネレータ-then-selectフレームワークを導入し、候補を生成するために12setベースのモデルをジェネレータとして採用し、LLMをセレクタとして使用し、これらの候補からキーフレーズを選択する。 我々のフレームワークは最先端のモデル、特にキーフレーズの欠如をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-10-04T13:31:09Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation [76.52997424694767]
  本研究では、キーフレーズ生成(KPG)におけるエンコーダのみの事前学習言語モデル(PLM)の適用について述べる。 エンコーダのみの PLM では、条件付きランダムフィールドを持つ KPE は、現在のキーフレーズの同定においてわずかに優れているが、KPG の定式化はキーフレーズの予測の幅広いスペクトルを表現している。 また,エンコーダのみの PLM を用いたエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深度に対するパラメータ割り当てが望ましいことを示す。
  論文  参考訳（メタデータ） (2024-02-21T18:57:54Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Ranking-based Adaptive Query Generation for DETRs in Crowded Pedestrian Detection [49.27380156754935]
  DETRのクエリの数は手動で調整しなければなりませんが、そうでなければ、パフォーマンスは様々な程度に低下します。 本稿では,ランクに基づく適応クエリ生成(RAQG)を提案し,問題を緩和する。 提案手法は単純かつ効果的であり,任意のDETRにプラグインすることで,理論上クエリ適応性を実現する。
  論文  参考訳（メタデータ） (2023-10-24T11:00:56Z)
• Stopping Criteria for Value Iteration on Stochastic Games with Quantitative Objectives [0.0]
  マルコフ決定過程(MDP)とゲーム(SG)の古典的解法は価値(VI)である 本稿では、SG 上での VI の停止基準を、全報酬と平均ペイオフで提供し、これらの設定で最初にアルゴリズムを出力する。
  論文  参考訳（メタデータ） (2023-04-19T19:09:55Z)
• An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering [28.31377197194905]
  大規模事前学習型言語モデル(PLM)は、最近大きな成功を収め、自然言語処理(NLP)のマイルストーンとなった。 近年、知識グラフ質問応答 (KGQA) の研究において、BERT やその変種は KGQA モデルにおいて必要となっている。 我々は、KGQAにおける異なるPLMの性能を比較し、より大規模なKGに対する3つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-03-18T08:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。