論文の概要: Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study

• arxiv url: http://arxiv.org/abs/2312.15156v2
• Date: Wed, 10 Jan 2024 10:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:27:57.592242
• Title: Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
• Title（参考訳）: ゼロショット・キーフレーズ・エクストラクタとしての大規模言語モデル--予備的実証研究
• Authors: Mingyang Song, Xuelian Geng, Songfang Yao, Shilong Lu, Yi Feng, Liping Jing
• Abstract要約: Zero-shot Keyphrase extractは、人間の注釈付きデータによるトレーニングなしでキーフレーズ抽出装置を構築することを目的としている。 事前訓練された大規模言語モデルに対する最近の取り組みは、ゼロショット設定における有望な性能を示している。
• 参考スコア（独自算出の注目度）: 27.139631284101007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot keyphrase extraction aims to build a keyphrase extractor without training by human-annotated data, which is challenging due to the limited human intervention involved. Challenging but worthwhile, zero-shot setting efficiently reduces the time and effort that data labeling takes. Recent efforts on pre-trained large language models (e.g., ChatGPT and ChatGLM) show promising performance on zero-shot settings, thus inspiring us to explore prompt-based methods. In this paper, we ask whether strong keyphrase extraction models can be constructed by directly prompting the large language model ChatGPT. Through experimental results, it is found that ChatGPT still has a lot of room for improvement in the keyphrase extraction task compared to existing state-of-the-art unsupervised and supervised models.
• Abstract（参考訳）: zero-shot keyphraseの抽出は、人間の注釈データによるトレーニングなしにキーフレーズ抽出器を構築することを目的としている。 相応しいが価値のあるゼロショット設定は、データのラベル付けにかかる時間と労力を効率的に削減する。 事前学習された大規模言語モデル(chatgptやchatglmなど)に対する最近の取り組みは、ゼロショット設定で有望なパフォーマンスを示しており、プロンプトベースメソッドの探求に刺激を与えています。 本稿では,大規模言語モデルchatgptを直接起動することで,強力なキーフレーズ抽出モデルを構築することができるか質問する。 実験結果から,ChatGPTには,既存の教師なしモデルや教師なしモデルと比較して,キーフレーズ抽出タスクの改善の余地が十分にあることがわかった。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction [0.6767885381740952]
  本稿では,1つの文書から教師なしキーフレーズを抽出するために,事前訓練された言語モデルとパート・オブ・音声を提供するPatternRankを提案する。 実験の結果,PatternRankは従来の最先端手法よりも高精度,リコール,F1スコアを実現していることがわかった。
  論文  参考訳（メタデータ） (2022-10-11T08:23:54Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• A Joint Learning Approach based on Self-Distillation for Keyphrase Extraction from Scientific Documents [29.479331909227998]
  キーフレーズ抽出(英: Keyphrase extract)は、文書を最もよく記述するフレーズの小さなセットを抽出するタスクである。 タスクの既存のベンチマークデータセットは、通常、注釈付きドキュメントの数に制限がある。 本稿では, 自己蒸留の考え方に基づく, シンプルで効率的な共同学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T18:36:31Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Unsupervised Paraphrase Generation using Pre-trained Language Models [0.0]
  OpenAIのGPT-2は、流動的で、十分に定式化された、文法的に一貫性のあるテキストを生成する能力で有名である。 我々は、GPT-2のこの生成能力を活用し、ラベル付きデータから何の監督も受けずにパラフレーズを生成する。 実験の結果,我々のモデルで生成したパラフレーズは質が良く,多種多様であり,データ拡張に使用する場合のダウンストリームタスク性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-06-09T19:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。