論文の概要: APT-Pipe: An Automatic Prompt-Tuning Tool for Social Computing Data Annotation

• arxiv url: http://arxiv.org/abs/2402.01697v3
• Date: Thu, 8 Feb 2024 06:22:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 11:25:16.782225
• Title: APT-Pipe: An Automatic Prompt-Tuning Tool for Social Computing Data Annotation
• Title（参考訳）: apt-pipe:ソーシャルコンピューティングデータアノテーションのための自動プロンプトチューニングツール
• Authors: Yiming Zhu, Zhizhuo Yin, Gareth Tyson, Ehsan-Ul Haq, Lik-Hang Lee, Pan Hui
• Abstract要約: 自動的なプロンプトチューニングパイプラインであるAPT-Pipeを提案する。 12の異なるテキスト分類データセットでテストする。 APT-Pipeによって調整されたプロンプトは、ChatGPTが12つの実験データセットのうち9つでより高い重み付きF1スコアを達成するのに役立ちます。
• 参考スコア（独自算出の注目度）: 28.976911675881826
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent research has highlighted the potential of LLM applications, like ChatGPT, for performing label annotation on social computing text. However, it is already well known that performance hinges on the quality of the input prompts. To address this, there has been a flurry of research into prompt tuning -- techniques and guidelines that attempt to improve the quality of prompts. Yet these largely rely on manual effort and prior knowledge of the dataset being annotated. To address this limitation, we propose APT-Pipe, an automated prompt-tuning pipeline. APT-Pipe aims to automatically tune prompts to enhance ChatGPT's text classification performance on any given dataset. We implement APT-Pipe and test it across twelve distinct text classification datasets. We find that prompts tuned by APT-Pipe help ChatGPT achieve higher weighted F1-score on nine out of twelve experimented datasets, with an improvement of 7.01% on average. We further highlight APT-Pipe's flexibility as a framework by showing how it can be extended to support additional tuning mechanisms.
• Abstract（参考訳）: 最近の研究は、ソーシャルコンピューティングテキストにラベルアノテーションを実行するための、ChatGPTのようなLLMアプリケーションの可能性を強調している。 しかし、パフォーマンスが入力プロンプトの品質にかかっていることは、すでによく知られている。 これに対処するために、プロンプトのチューニング -- プロンプトの品質を改善するためのテクニックとガイドライン -- に関する多くの研究が行われてきた。 しかし、これらは主に手動の労力と注釈付きデータセットの事前知識に依存している。 この制限に対処するために,自動プロンプトチューニングパイプラインであるAPT-Pipeを提案する。 APT-Pipeは、任意のデータセット上でChatGPTのテキスト分類性能を高めるために、プロンプトを自動的にチューニングすることを目的としている。 APT-Pipeを実装し、12の異なるテキスト分類データセットでテストする。 APT-Pipeによって調整されたプロンプトは、ChatGPTが12つの実験データセットのうち9つの重み付きF1スコアを達成するのに役立つ。 さらに、APT-Pipeの柔軟性をフレームワークとして強調し、追加のチューニングメカニズムをサポートするためにどのように拡張できるかを示す。

関連論文リスト

• Exploring the Capability of ChatGPT to Reproduce Human Labels for Social Computing Tasks (Extended Version) [26.643834593780007]
  ソーシャルコンピューティングタスクにおいてChatGPTがデータアノテートできる範囲について検討する。 ChatGPTは、いくつかの課題があるにもかかわらず、データアノテーションタスクの処理における約束を示す。 本稿では,ChatGPTが与えられたアノテーションタスクのデータを正しくラベル付けできるかどうかを予測するツールであるGPT-Raterを提案する。
  論文  参考訳（メタデータ） (2024-07-08T22:04:30Z)
• Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4 [4.40960504549418]
  本稿では、自動プロンプトを設計するための注釈付きデータとともに、人間のアノテーションガイドラインを再利用する。 オープンソースのテキストアノテーションツールにプロンプト戦略を実装し、OpenAI APIによるオンライン利用を容易にします。
  論文  参考訳（メタデータ） (2024-07-04T19:16:44Z)
• GPTZoo: A Large-scale Dataset of GPTs for the Research Community [5.1875389249043415]
  GPTZooは730,420のGPTインスタンスからなる大規模データセットである。 それぞれのインスタンスには、その特性を記述した21の属性と、開発中に使用される命令、ナレッジファイル、サードパーティサービスを含む豊富なメタデータが含まれている。
  論文  参考訳（メタデータ） (2024-05-24T15:17:03Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect ChatGPT-Generated Text [48.36706154871577]
  我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。 純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。 また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:38:37Z)
• Evaluating ChatGPT's Information Extraction Capabilities: An Assessment of Performance, Explainability, Calibration, and Faithfulness [18.945934162722466]
  7つのきめ細かい情報抽出(IE)タスクを用いてChatGPTの全体的な能力を評価することに集中する。 標準IE設定でのChatGPTのパフォーマンスは劣っているが、OpenIE設定では驚くほど優れたパフォーマンスを示している。 ChatGPTは、その決定に対して高品質で信頼できる説明を提供する。
  論文  参考訳（メタデータ） (2023-04-23T12:33:18Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning [28.29889045842277]
  マルチタスクによる学習は,さまざまなタスクセットを一度に一般化する上で有効だ。 マルチタスク学習のための半パラメトリックなプロンプトチューニング手法であるSPTを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:18:09Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• PTR: Prompt Tuning with Rules for Text Classification [64.1655047016891]
  微調整された事前学習言語モデル(PLM)は、ほぼすべてのNLPタスクで素晴らしいパフォーマンスを実現している。 我々は,多クラステキスト分類のためのルール(PTR)による即時チューニングを提案する。 PTRは、各クラスの事前知識を即時チューニングにエンコードすることができる。
  論文  参考訳（メタデータ） (2021-05-24T13:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。