論文の概要: Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models

• arxiv url: http://arxiv.org/abs/2503.00597v1
• Date: Sat, 01 Mar 2025 19:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:20.903042
• Title: Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models
• Title（参考訳）: ゼロショットキーフレーズ生成:大規模言語モデルにおける特殊命令とマルチサンプルアグリゲーションの検討
• Authors: Jayanth Mohan, Jishnu Ray Chowdhury, Tomas Malik, Cornelia Caragea,
• Abstract要約: キーフレーズ生成(英: Keyphrase generation)とは、ある文書のキーフレーズを自動的に生成する、長期にわたるNLPタスクである。 本稿では,オープンソースの命令調整型LDM (Phi-3, Llama-3) のゼロショット機能と,このタスクのためのクローズドソース GPT-4o に着目した。
• 参考スコア（独自算出の注目度）: 52.829293635314194
• License:
• Abstract: Keyphrases are the essential topical phrases that summarize a document. Keyphrase generation is a long-standing NLP task for automatically generating keyphrases for a given document. While the task has been comprehensively explored in the past via various models, only a few works perform some preliminary analysis of Large Language Models (LLMs) for the task. Given the impact of LLMs in the field of NLP, it is important to conduct a more thorough examination of their potential for keyphrase generation. In this paper, we attempt to meet this demand with our research agenda. Specifically, we focus on the zero-shot capabilities of open-source instruction-tuned LLMs (Phi-3, Llama-3) and the closed-source GPT-4o for this task. We systematically investigate the effect of providing task-relevant specialized instructions in the prompt. Moreover, we design task-specific counterparts to self-consistency-style strategies for LLMs and show significant benefits from our proposals over the baselines.
• Abstract（参考訳）: キーワードは文書を要約する重要な話題のフレーズである。 キーフレーズ生成(英: Keyphrase generation)とは、ある文書のキーフレーズを自動的に生成する、長期にわたるNLPタスクである。 タスクは過去に様々なモデルを通して包括的に探索されてきたが、タスクのためのLarge Language Models (LLM) の予備的な分析を行うのはごくわずかである。 NLP の分野における LLM の影響を考えると, キーフレーズ生成の可能性について, より徹底的に検討することが重要である。 本稿では,この要求に応えるための研究課題について述べる。 具体的には,オープンソースの命令調整LDM (Phi-3, Llama-3) のゼロショット機能と,このタスクのためのクローズドソース GPT-4o に着目した。 本研究は,課題関連特殊命令をプロンプトに与える効果を系統的に検討する。 さらに,LLMの自己整合性型戦略に対するタスク固有の対応を設計し,ベースラインを越えた提案から大きなメリットを示す。

関連論文リスト

• Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases [2.8402080392117757]
  キーフレーズの選択は、広範囲のアプリケーションを持つ自然言語処理において難しいタスクである。 既存の教師なしおよび教師なしのソリューションをロシア語に適用することは、いくつかの制限に直面している。 近年の英文研究により,大言語モデル (LLM) がキーフレーズの生成に成功していることが示された。
  論文  参考訳（メタデータ） (2024-10-23T17:07:32Z)
• ZeroDL: Zero-shot Distribution Learning for Text Clustering via Large Language Models [5.011816280731356]
  特定の大規模言語モデル(LLM)に対してタスクを文脈化するための,シンプルで効果的な手法を提案する。 本稿では,テキストクラスタリングタスクにおけるこのアプローチの有効性を示すとともに,上記の手順の例による文脈化の重要性を強調する。
  論文  参考訳（メタデータ） (2024-06-19T08:48:05Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)
• PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents [78.27865456183397]
  長い文書に対する推論を改善するためのフレームワークであるPEARLを提案する。 PEARLの各ステージは、最小限の人間の入力でゼロショットまたは少数ショットのプロンプトによって実装される。 PEARLをQuALITYデータセットの挑戦的なサブセットで評価し、長い物語テキストに対して複雑な推論を必要とする質問を含む。
  論文  参考訳（メタデータ） (2023-05-23T23:06:04Z)
• Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
  小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。 本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。 実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-05-22T16:56:44Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。