論文の概要: A Preliminary Empirical Study on Prompt-based Unsupervised Keyphrase Extraction

• arxiv url: http://arxiv.org/abs/2405.16571v1
• Date: Sun, 26 May 2024 13:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:29:27.958275
• Title: A Preliminary Empirical Study on Prompt-based Unsupervised Keyphrase Extraction
• Title（参考訳）: Prompt-based Unsupervised Keyphrase 抽出に関する予備的研究
• Authors: Mingyang Song, Yi Feng, Liping Jing,
• Abstract要約: キーフレーズ抽出作業における異なるプロンプトの有効性を検討した。 設計の複雑なプロンプトは、長いドキュメントに直面したときに単純なプロンプトを設計するよりも優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 30.624421412309786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained large language models can perform natural language processing downstream tasks by conditioning on human-designed prompts. However, a prompt-based approach often requires "prompt engineering" to design different prompts, primarily hand-crafted through laborious trial and error, requiring human intervention and expertise. It is a challenging problem when constructing a prompt-based keyphrase extraction method. Therefore, we investigate and study the effectiveness of different prompts on the keyphrase extraction task to verify the impact of the cherry-picked prompts on the performance of extracting keyphrases. Extensive experimental results on six benchmark keyphrase extraction datasets and different pre-trained large language models demonstrate that (1) designing complex prompts may not necessarily be more effective than designing simple prompts; (2) individual keyword changes in the designed prompts can affect the overall performance; (3) designing complex prompts achieve better performance than designing simple prompts when facing long documents.
• Abstract（参考訳）: 事前訓練された大規模言語モデルは、人間が設計したプロンプトを条件にすることで、自然言語処理の下流タスクを実行することができる。 しかし、プロンプトベースのアプローチでは、しばしば異なるプロンプトを設計するために「プロンプトエンジニアリング」を必要とする。 プロンプトベースのキーフレーズ抽出法を構築する場合、これは難しい問題である。 そこで本研究では,キーフレーズ抽出作業における異なるプロンプトの有効性を検討した。 6つのベンチマークキーフレーズ抽出データセットと異なる事前訓練された大規模言語モデルによる大規模な実験結果から、(1)複雑なプロンプトの設計は単純なプロンプトの設計よりも必ずしも効果的ではないこと、(2)設計したプロンプトの個々のキーワード変更が全体的なパフォーマンスに影響を与えること、(3)複雑なプロンプトの設計は、長いドキュメントに直面するときの単純なプロンプトの設計よりも優れたパフォーマンスを達成することが示されている。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
  プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。 特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。 我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
  論文  参考訳（メタデータ） (2024-03-13T20:32:32Z)
• Enhancing User Interaction in ChatGPT: Characterizing and Consolidating Multiple Prompts for Issue Resolution [5.176434782905268]
  我々はJavaとPythonに関連する問題を解決するために提出された686のプロンプトを分析した。 プロンプトを4つのギャップ(例えば、コンテキストの欠如)で完全に統合し、3つのギャップ(例えば、追加機能)でプロンプトを部分的に統合できます。 調査の結果と証拠は, (a) ユーザ時間を節約し, (b) コストを削減し, (c) ユーザの満足度を高めることができる。
  論文  参考訳（メタデータ） (2024-02-07T04:07:33Z)
• Towards Robust Multimodal Prompting With Missing Modalities [22.176372579439356]
  マルチモーダルプロンプトは、すべての欠落したモダリティケースに対して学習可能な欠落認識プロンプトを導入する。 トレーニングと推論の間にモダリティの設定が欠けているシナリオでは、堅牢性に欠けています。 これらの課題に対処するために,単純かつ効果的なプロンプト設計を提案する。
  論文  参考訳（メタデータ） (2023-12-26T05:43:55Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
  本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-23T09:01:05Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。