論文の概要: Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases

• arxiv url: http://arxiv.org/abs/2410.18040v1
• Date: Wed, 23 Oct 2024 17:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:10.333288
• Title: Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases
• Title（参考訳）: キーフレーズ生成のためのキーアルゴリズム:ロシア科学のキーフレーズのためのインストラクションベースLLM
• Authors: Anna Glazkova, Dmitry Morozov, Timur Garipov,
• Abstract要約: キーフレーズの選択は、広範囲のアプリケーションを持つ自然言語処理において難しいタスクである。 既存の教師なしおよび教師なしのソリューションをロシア語に適用することは、いくつかの制限に直面している。 近年の英文研究により,大言語モデル (LLM) がキーフレーズの生成に成功していることが示された。
• 参考スコア（独自算出の注目度）: 2.8402080392117757
• License:
• Abstract: Keyphrase selection is a challenging task in natural language processing that has a wide range of applications. Adapting existing supervised and unsupervised solutions for the Russian language faces several limitations due to the rich morphology of Russian and the limited number of training datasets available. Recent studies conducted on English texts show that large language models (LLMs) successfully address the task of generating keyphrases. LLMs allow achieving impressive results without task-specific fine-tuning, using text prompts instead. In this work, we access the performance of prompt-based methods for generating keyphrases for Russian scientific abstracts. First, we compare the performance of zero-shot and few-shot prompt-based methods, fine-tuned models, and unsupervised methods. Then we assess strategies for selecting keyphrase examples in a few-shot setting. We present the outcomes of human evaluation of the generated keyphrases and analyze the strengths and weaknesses of the models through expert assessment. Our results suggest that prompt-based methods can outperform common baselines even using simple text prompts.
• Abstract（参考訳）: キーフレーズの選択は、広範囲のアプリケーションを持つ自然言語処理において難しいタスクである。 ロシア語の豊富な形態と利用可能なトレーニングデータセットの限られた数のために、既存の教師付きおよび教師なしのソリューションに適応することは、いくつかの制限に直面している。 近年の英文研究により,大言語モデル (LLM) がキーフレーズの生成に成功していることが示された。 LLMは、代わりにテキストプロンプトを使用して、タスク固有の微調整なしで印象的な結果を達成することができる。 本研究では,ロシアの科学論文のキーフレーズを生成するためのプロンプトベースの手法の性能にアクセスする。 まず、ゼロショットと少数ショットのプロンプトベース手法、微調整モデル、教師なし手法の性能を比較した。 次に、数ショット設定でキーフレーズの例を選択するための戦略を評価する。 生成したキーフレーズの人為的評価の結果を提示し、専門家による評価によりモデルの強みと弱みを分析した。 この結果から,単純なテキストプロンプトを用いても,プロンプトベースの手法は一般的なベースラインよりも優れていることが示唆された。

関連論文リスト

• MetaKP: On-Demand Keyphrase Generation [52.48698290354449]
  オンデマンドのキーフレーズ生成は,特定のハイレベルな目標や意図に従うキーフレーズを必要とする新しいパラダイムである。 そこで我々は,4つのデータセット,7500のドキュメント,3760の目標からなる大規模ベンチマークであるMetaKPを紹介した。 ソーシャルメディアからの流行事象検出に応用して,一般のNLP基盤として機能する可能性を示す。
  論文  参考訳（メタデータ） (2024-06-28T19:02:59Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study [27.139631284101007]
  Zero-shot Keyphrase extractは、人間の注釈付きデータによるトレーニングなしでキーフレーズ抽出装置を構築することを目的としている。 事前訓練された大規模言語モデルに対する最近の取り組みは、ゼロショット設定における有望な性能を示している。
  論文  参考訳（メタデータ） (2023-12-23T03:50:49Z)
• PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction [0.6767885381740952]
  本稿では,1つの文書から教師なしキーフレーズを抽出するために,事前訓練された言語モデルとパート・オブ・音声を提供するPatternRankを提案する。 実験の結果,PatternRankは従来の最先端手法よりも高精度,リコール,F1スコアを実現していることがわかった。
  論文  参考訳（メタデータ） (2022-10-11T08:23:54Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• A Joint Learning Approach based on Self-Distillation for Keyphrase Extraction from Scientific Documents [29.479331909227998]
  キーフレーズ抽出(英: Keyphrase extract)は、文書を最もよく記述するフレーズの小さなセットを抽出するタスクである。 タスクの既存のベンチマークデータセットは、通常、注釈付きドキュメントの数に制限がある。 本稿では, 自己蒸留の考え方に基づく, シンプルで効率的な共同学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T18:36:31Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。