論文の概要: Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
- arxiv url: http://arxiv.org/abs/2407.10645v1
- Date: Mon, 15 Jul 2024 12:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 15:21:27.008832
- Title: Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
- Title（参考訳）: Prompt Selection Matters: Enhancing Text Annotation for Social Sciences with Large Language Models
- Authors: Louis Abraham, Charles Arnal, Antoine Marie,
- Abstract要約: 性能はプロンプト間で大きく異なり,高品質なプロンプトを体系的に構築するために自動プロンプト最適化手法を適用する。
我々はまた、このメソッドのシンプルなブラウザベースの実装をコミュニティに提供する。
- 参考スコア（独自算出の注目度）: 0.5735035463793009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have recently been applied to text annotation tasks from social sciences, equalling or surpassing the performance of human workers at a fraction of the cost. However, no inquiry has yet been made on the impact of prompt selection on labelling accuracy. In this study, we show that performance greatly varies between prompts, and we apply the method of automatic prompt optimization to systematically craft high quality prompts. We also provide the community with a simple, browser-based implementation of the method at https://prompt-ultra.github.io/ .
- Abstract（参考訳）: 大規模言語モデルは最近、社会科学のテキストアノテーションタスクに応用され、コストのごく一部で人間の労働者のパフォーマンスを等しくまたは超えている。
しかし、ラベリング精度に対する迅速な選択の影響については、まだ調査されていない。
本研究では,プロンプト間で性能が大きく異なることを示し,高品質なプロンプトを体系的に構築するために自動プロンプト最適化手法を適用した。
また、コミュニティにはhttps://prompt-ultra.github.io/で、シンプルなブラウザベースのメソッドの実装も提供しています。
関連論文リスト
- Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases [2.6159111710501506]
本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-02-05T15:28:43Z) - MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text
Classification [65.51149771074944]
MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。
広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。
結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-06-15T06:51:35Z) - Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。
プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
論文 参考訳（メタデータ） (2022-12-08T02:21:47Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Large Language Models Are Human-Level Prompt Engineers [31.98042013940282]
本稿では,自動命令生成と選択のための自動プロンプトエンジニアを提案する。
APEを駆使したプロンプトは、真理性や情報性に対するステアモデルに適用可能であることを示す。
論文 参考訳（メタデータ） (2022-11-03T15:43:03Z) - Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation
with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。
PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文 参考訳（メタデータ） (2022-08-16T17:17:53Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。