論文の概要: One2set + Large Language Model: Best Partners for Keyphrase Generation
- arxiv url: http://arxiv.org/abs/2410.03421v1
- Date: Mon, 21 Oct 2024 02:43:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:29:14.882337
- Title: One2set + Large Language Model: Best Partners for Keyphrase Generation
- Title（参考訳）: One2set + Large Language Model: キーワード生成のためのベストパートナ
- Authors: Liangying Shao, Liang Zhang, Minlong Peng, Guoqi Ma, Hao Yue, Mingming Sun, Jinsong Su,
- Abstract要約: キーワード生成(KPG)は、与えられたドキュメントの中核概念を表すフレーズの集合を自動的に生成することを目的としている。
KPGを2つのステップに分解するジェネレータ-then-selectフレームワークを導入し、候補を生成するために12setベースのモデルをジェネレータとして採用し、LLMをセレクタとして使用し、これらの候補からキーフレーズを選択する。
我々のフレームワークは最先端のモデル、特にキーフレーズの欠如をはるかに上回っている。
- 参考スコア（独自算出の注目度）: 42.969689556605005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keyphrase generation (KPG) aims to automatically generate a collection of phrases representing the core concepts of a given document. The dominant paradigms in KPG include one2seq and one2set. Recently, there has been increasing interest in applying large language models (LLMs) to KPG. Our preliminary experiments reveal that it is challenging for a single model to excel in both recall and precision. Further analysis shows that: 1) the one2set paradigm owns the advantage of high recall, but suffers from improper assignments of supervision signals during training; 2) LLMs are powerful in keyphrase selection, but existing selection methods often make redundant selections. Given these observations, we introduce a generate-then-select framework decomposing KPG into two steps, where we adopt a one2set-based model as generator to produce candidates and then use an LLM as selector to select keyphrases from these candidates. Particularly, we make two important improvements on our generator and selector: 1) we design an Optimal Transport-based assignment strategy to address the above improper assignments; 2) we model the keyphrase selection as a sequence labeling task to alleviate redundant selections. Experimental results on multiple benchmark datasets show that our framework significantly surpasses state-of-the-art models, especially in absent keyphrase prediction.
- Abstract（参考訳）: キーワード生成(KPG)は、与えられたドキュメントの中核概念を表すフレーズの集合を自動的に生成することを目的としている。
KPGの主要なパラダイムは、one2seqとone2setである。
近年,大規模言語モデル(LLM)をKPGに適用することへの関心が高まっている。
予備実験では、単一のモデルがリコールと精度の両方で優れていることが判明した。
さらなる分析は以下のことを示している。
1) ワンセットパラダイムは,高いリコールの利点を保有するが,訓練中の監視信号の不適切な割り当てに苦しむ。
2) LLM はキーフレーズ選択において強力であるが,既存の選択法では冗長な選択を行うことが多い。
これらの結果から, KPGを2段階に分解する生成列選択フレームワークを導入し, 候補生成に12セットモデルを採用するとともに, LLMをセレクタとして使用し, 候補からキーフレーズを選択する。
特に、ジェネレータとセレクタで重要な改善が2つあります。
1) 上記の不適切な課題に対処するための最適輸送に基づく割当て戦略を設計する。
2)キーフレーズの選択をシーケンスラベリングタスクとしてモデル化し,冗長な選択を緩和する。
複数のベンチマークデータセットによる実験結果から,我々のフレームワークは最先端モデル,特にキーフレーズの欠如をはるかに上回っていることがわかった。
関連論文リスト
- Large Language Model-guided Document Selection [23.673690115025913]
大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。
近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。
拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
論文 参考訳（メタデータ） (2024-06-07T04:52:46Z) - Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。
これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。
本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。
対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-01-12T17:15:23Z) - GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳（メタデータ） (2023-11-16T06:28:05Z) - Rethinking Model Selection and Decoding for Keyphrase Generation with
Pre-trained Sequence-to-Sequence Models [76.52997424694767]
キーフレーズ生成(英: Keyphrase Generation, KPG)は、NLPにおける長年の課題である。
Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。
本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
論文 参考訳（メタデータ） (2023-10-10T07:34:45Z) - Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。
LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。
これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
論文 参考訳（メタデータ） (2023-05-15T17:57:39Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳（メタデータ） (2022-12-20T13:20:21Z) - ConRPG: Paraphrase Generation using Contexts as Regularizer [31.967883219986362]
パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。
本稿では,同じ文脈で同じ意味を持つ2つの文を生成する確率が同じであるという仮定に基づいて,パラフレーズ生成のための教師なしパラダイムを提案する。
本稿では、文脈言語モデルに基づくパラフレーズ候補生成、スコアリング関数を用いた候補フィルタリング、選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
論文 参考訳（メタデータ） (2021-09-01T12:57:30Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳（メタデータ） (2020-10-24T08:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。