論文の概要: Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4

• arxiv url: http://arxiv.org/abs/2407.04130v1
• Date: Thu, 4 Jul 2024 19:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 15:10:29.197383
• Title: Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4
• Title（参考訳）: テキストアノテーションの自動化に向けて:GPT-4を用いた意味的近接アノテーションを事例として
• Authors: Sachin Yadav, Tejaswi Choppa, Dominik Schlechtweg,
• Abstract要約: 本稿では、自動プロンプトを設計するための注釈付きデータとともに、人間のアノテーションガイドラインを再利用する。 オープンソースのテキストアノテーションツールにプロンプト戦略を実装し、OpenAI APIによるオンライン利用を容易にします。
• 参考スコア（独自算出の注目度）: 4.40960504549418
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper explores using GPT-3.5 and GPT-4 to automate the data annotation process with automatic prompting techniques. The main aim of this paper is to reuse human annotation guidelines along with some annotated data to design automatic prompts for LLMs, focusing on the semantic proximity annotation task. Automatic prompts are compared to customized prompts. We further implement the prompting strategies into an open-source text annotation tool, enabling easy online use via the OpenAI API. Our study reveals the crucial role of accurate prompt design and suggests that prompting GPT-4 with human-like instructions is not straightforwardly possible for the semantic proximity task. We show that small modifications to the human guidelines already improve the performance, suggesting possible ways for future research.
• Abstract（参考訳）: 本稿では, GPT-3.5 と GPT-4 を用いて自動プロンプト技術を用いたデータアノテーションプロセスの自動化について検討する。 本研究の目的は,LLMの自動プロンプトを設計するための注釈付きデータとともに,人間のアノテーションガイドラインを再利用し,意味的近接アノテーションタスクに焦点を当てることである。 自動プロンプトはカスタマイズされたプロンプトと比較される。 さらに、オープンソースのテキストアノテーションツールにプロンプト戦略を実装し、OpenAI APIによるオンライン利用を容易にします。 本研究は, 高精度なプロンプト設計における重要な役割を明らかにし, 意味的近接タスクにおいて, 人為的な指示で GPT-4 を誘導することは容易ではないことを示唆する。 人間のガイドラインに対する小さな修正は、すでに性能を改善しており、今後の研究の可能性を示唆している。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Keeping Humans in the Loop: Human-Centered Automated Annotation with Generative AI [0.0]
  我々は、GPT-4を使用して、パスワードで保護された11のデータセットに27のアノテーションタスクを複製する。 各タスクについて,人間の注釈付き接地木ラベルに対するGPT-4アノテーションと,人為的ラベルに微調整された教師付き分類モデルからのアノテーションを比較した。 本研究は,人間中心のワークフローと注意深い評価基準の重要性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-09-14T15:27:43Z)
• GPT Assisted Annotation of Rhetorical and Linguistic Features for Interpretable Propaganda Technique Detection in News Text [1.2699007098398802]
  本研究は, 説得の言語に関する文献で同定された22の修辞的, 言語学的特徴を分類した。 WebアプリケーションであるRhetAnnは、そうでなければかなりの精神的な努力を最小限に抑えるように設計されている。 注釈付きデータの小さなセットは、生成的大言語モデル(LLM)であるGPT-3.5を微調整し、残りのデータに注釈を付けた。
  論文  参考訳（メタデータ） (2024-07-16T15:15:39Z)
• APT-Pipe: A Prompt-Tuning Tool for Social Data Annotation using ChatGPT [28.976911675881826]
  自動的なプロンプトチューニングパイプラインであるAPT-Pipeを提案する。 12の異なるテキスト分類データセットでテストする。 APT-Pipeによって調整されたプロンプトは、ChatGPTが12つの実験データセットのうち9つでより高い重み付きF1スコアを達成するのに役立ちます。
  論文  参考訳（メタデータ） (2024-01-24T10:09:11Z)
• Weaving Pathways for Justice with GPT: LLM-driven automated drafting of interactive legal applications [0.0]
  裁判所フォームの完成を自動化するための3つのアプローチについて述べる。 GPT-3を使って質問に反復的に答えるよう促すジェネレーティブAIアプローチ、GPT-4-turboを使って人間のレビュー対象の質問のドラフトを生成する制約付きテンプレート駆動アプローチ、ハイブリッドメソッド。 我々は,制約付き自動起草と人間レビューのハイブリッドモデルが,指導的面接のオーサリングに最も適していると結論付けた。
  論文  参考訳（メタデータ） (2023-12-14T18:20:59Z)
• Prompt Engineering or Fine Tuning: An Empirical Assessment of Large Language Models in Automated Software Engineering Tasks [8.223311621898983]
  対話型プロンプトを持つ GPT-4 は, 自動プロンプト戦略を持つ GPT-4 に比べて劇的な改善を示した。 完全に自動化されたプロンプトエンジニアリング ループに人間はいない より多くの研究と改善が必要です
  論文  参考訳（メタデータ） (2023-10-11T00:21:00Z)
• Automatic Prompt Optimization with "Gradient Descent" and Beam Search [64.08364384823645]
  大きな言語モデル(LLM)は汎用エージェントとして優れたパフォーマンスを示しているが、その能力はプロンプトに大きく依存している。 この問題に対する単純で非パラメトリックな解である自動プロンプト最適化(APO)を提案する。 APOはデータのミニバッチを使用して、現在のプロンプトを批判する自然言語「段階的」を形成する。 次に、勾配の反対の意味方向のプロンプトを編集することで、勾配をプロンプトに「伝播」する。
  論文  参考訳（メタデータ） (2023-05-04T15:15:22Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。