論文の概要: MetaKP: On-Demand Keyphrase Generation

• arxiv url: http://arxiv.org/abs/2407.00191v2
• Date: Fri, 04 Oct 2024 16:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 18:20:06.010258
• Title: MetaKP: On-Demand Keyphrase Generation
• Title（参考訳）: MetaKP: オンデマンドのキーワード生成
• Authors: Di Wu, Xiaoxian Shen, Kai-Wei Chang,
• Abstract要約: オンデマンドのキーフレーズ生成は,特定のハイレベルな目標や意図に従うキーフレーズを必要とする新しいパラダイムである。 そこで我々は,4つのデータセット,7500のドキュメント,3760の目標からなる大規模ベンチマークであるMetaKPを紹介した。 ソーシャルメディアからの流行事象検出に応用して,一般のNLP基盤として機能する可能性を示す。
• 参考スコア（独自算出の注目度）: 52.48698290354449
• License:
• Abstract: Traditional keyphrase prediction methods predict a single set of keyphrases per document, failing to cater to the diverse needs of users and downstream applications. To bridge the gap, we introduce on-demand keyphrase generation, a novel paradigm that requires keyphrases that conform to specific high-level goals or intents. For this task, we present MetaKP, a large-scale benchmark comprising four datasets, 7500 documents, and 3760 goals across news and biomedical domains with human-annotated keyphrases. Leveraging MetaKP, we design both supervised and unsupervised methods, including a multi-task fine-tuning approach and a self-consistency prompting method with large language models. The results highlight the challenges of supervised fine-tuning, whose performance is not robust to distribution shifts. By contrast, the proposed self-consistency prompting approach greatly improves the performance of large language models, enabling GPT-4o to achieve 0.548 SemF1, surpassing the performance of a fully fine-tuned BART-base model. Finally, we demonstrate the potential of our method to serve as a general NLP infrastructure, exemplified by its application in epidemic event detection from social media.
• Abstract（参考訳）: 従来のキーフレーズ予測手法は、ドキュメント毎にひとつのキーフレーズを予測し、ユーザや下流アプリケーションの多様なニーズに対応できない。 このギャップを埋めるために、我々は、特定のハイレベルな目標や意図に従うキーフレーズを必要とする新しいパラダイムであるオンデマンドのキーフレーズ生成を導入します。 そこで,4つのデータセット,7500のドキュメント,3760の目標からなる大規模ベンチマークであるMetaKPを提案する。 MetaKPを活用することで、マルチタスクの微調整アプローチや、大規模言語モデルによる自己整合性促進手法など、教師付き手法と教師なし手法の両方を設計する。 その結果,教師付き微調整の課題が浮き彫りになった。 対照的に、提案した自己整合性促進手法は、大規模言語モデルの性能を大幅に向上させ、GPT-4oが0.548 SemF1を達成でき、完全に微調整されたBARTベースモデルの性能を上回る。 最後に,一般のNLP基盤として機能する手法の可能性を示し,その応用例をソーシャルメディアからの流行事象検出に適用した。

関連論文リスト

• Pre-Trained Language Models for Keyphrase Prediction: A Review [2.7869482272876622]
  キーフレーズ予測(KP)は、その内容を要約できる文書中のキーフレーズを特定するのに不可欠である。 最近の自然言語処理の進歩は、ディープラーニング技術を用いたより効率的なKPモデルを開発した。 本稿では,キーフレーズ予測のための事前学習言語モデル(PLM-KP)の話題を幅広く検討する。
  論文  参考訳（メタデータ） (2024-09-02T09:15:44Z)
• A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
  音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。 凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-15T00:03:16Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction [20.26899340581431]
  キーワード予測タスクは、与えられたドキュメントのメインアイデアを要約できるいくつかのキーフレーズを予測することを目的としている。 メインストリームKP法は、純粋に生成的アプローチと、抽出と生成を伴う統合モデルに分類することができる。 キーフレーズの抽出と生成を共同で学習する新しいエンドツーエンド学習フレームワークUniKeyphraseを提案する。
  論文  参考訳（メタデータ） (2021-06-09T07:09:51Z)
• Keyphrase Prediction With Pre-trained Language Model [16.06425973336514]
  我々は,キーフレーズ予測を2つのサブタスク,すなわち,現在キーフレーズ抽出(PKE)と欠キーフレーズ生成(AKG)に分割することを提案する。 PKEでは、事前訓練された言語モデルBERTを用いて、このタスクをシーケンスラベリング問題として扱う。 AKG では,PKE から学んだキーフレーズの知識を細調整した BERT で完全に統合した Transformer ベースのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-22T09:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。