論文の概要: Automated Annotation with Generative AI Requires Validation

• arxiv url: http://arxiv.org/abs/2306.00176v1
• Date: Wed, 31 May 2023 20:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 19:28:00.421471
• Title: Automated Annotation with Generative AI Requires Validation
• Title（参考訳）: 生成AIによる自動アノテーションは検証を必要とする
• Authors: Nicholas Pangakis, Samuel Wolken, and Neil Fasching
• Abstract要約: 生成型大規模言語モデル(LLM)は、テキストアノテーションの手順を増強するための強力なツールである。 LLMのアノテーションポテンシャルを原則的かつ効率的な方法で活用するためのワークフローを概説する。 テキストアノテーションのLLM性能は有望であるが,データセットとアノテーションの型の両方に高い関連性があることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative large language models (LLMs) can be a powerful tool for augmenting text annotation procedures, but their performance varies across annotation tasks due to prompt quality, text data idiosyncrasies, and conceptual difficulty. Because these challenges will persist even as LLM technology improves, we argue that any automated annotation process using an LLM must validate the LLM's performance against labels generated by humans. To this end, we outline a workflow to harness the annotation potential of LLMs in a principled, efficient way. Using GPT-4, we validate this approach by replicating 27 annotation tasks across 11 datasets from recent social science articles in high-impact journals. We find that LLM performance for text annotation is promising but highly contingent on both the dataset and the type of annotation task, which reinforces the necessity to validate on a task-by-task basis. We make available easy-to-use software designed to implement our workflow and streamline the deployment of LLMs for automated annotation.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)は、テキストアノテーションの手続きを増強するための強力なツールであるが、それらの性能は、迅速な品質、テキストデータの慣用性、概念上の困難によって、アノテーションタスクによって異なる。 これらの課題は、llm技術が改善しても継続するので、llmを使った自動アノテーションプロセスは、人間が生成したラベルに対するllmのパフォーマンスを検証する必要があると主張する。 この目的のために, LLMのアノテーションポテンシャルを原則的, 効率的な方法で活用するためのワークフローを概説する。 GPT-4を用いて,最近の社会科学論文の11データセットに27のアノテーションタスクを複製し,本手法の有効性を検証した。 テキストアノテーションのLCM性能は有望だが,データセットとアノテーションの型の両方に強く依存しており,タスク・バイ・タスクによる検証の必要性が強くなっている。 ワークフローを実装し、自動アノテーションのためのLLMのデプロイを合理化するように設計された使いやすいソフトウェアを利用可能にしています。

関連論文リスト

• Augmenting In-Context-Learning in LLMs via Automatic Data Labeling and Refinement [7.108002571622824]
  本稿では,デモの自動生成とフィルタを行うADLR(Automatic Data Labeling and Refinement)を提案する。 コードベースのテーブルQAと数学的推論におけるADLRの利点を実証し、最大5.5%のゲインを達成した。
  論文  参考訳（メタデータ） (2024-10-14T10:06:58Z)
• Keeping Humans in the Loop: Human-Centered Automated Annotation with Generative AI [0.0]
  我々は、GPT-4を使用して、パスワードで保護された11のデータセットに27のアノテーションタスクを複製する。 各タスクについて,人間の注釈付き接地木ラベルに対するGPT-4アノテーションと,人為的ラベルに微調整された教師付き分類モデルからのアノテーションを比較した。 本研究は,人間中心のワークフローと注意深い評価基準の重要性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-09-14T15:27:43Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.885866125783618]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 我々は, LLMのトークン化に挑戦するために, $textbfADT (TokenizerのAdrial dataset)$という逆データセットを構築した。 GPT-4o, Llama-3, Qwen2.5-maxなど, 先進LLMのトークン化に挑戦する上で, 当社のADTは極めて有効であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。