論文の概要: Are Expert-Level Language Models Expert-Level Annotators?

• arxiv url: http://arxiv.org/abs/2410.03254v1
• Date: Fri, 4 Oct 2024 09:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 23:28:42.568691
• Title: Are Expert-Level Language Models Expert-Level Annotators?
• Title（参考訳）: エキスパートレベル言語モデルはエキスパートレベルアノテーションか?
• Authors: Yu-Min Tseng, Wei-Lin Chen, Chung-Chi Chen, Hsin-Hsi Chen,
• Abstract要約: 本研究では,データアノテータとしてのLSMが専門知識を必要とする領域でどの程度機能するかを検討する。 我々の知る限り、我々はLSMを専門家レベルのデータアノテータとして初めて体系的に評価した。
• 参考スコア（独自算出の注目度）: 17.06186816803593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data annotation refers to the labeling or tagging of textual data with relevant information. A large body of works have reported positive results on leveraging LLMs as an alternative to human annotators. However, existing studies focus on classic NLP tasks, and the extent to which LLMs as data annotators perform in domains requiring expert knowledge remains underexplored. In this work, we investigate comprehensive approaches across three highly specialized domains and discuss practical suggestions from a cost-effectiveness perspective. To the best of our knowledge, we present the first systematic evaluation of LLMs as expert-level data annotators.
• Abstract（参考訳）: データアノテーションは、関連する情報を含むテキストデータのラベル付けやタグ付けを指す。 LLMをヒトのアノテーターの代替品として利用することについて、多くの研究が肯定的な結果を報告している。 しかし、既存の研究は古典的なNLPタスクに焦点をあてており、専門家の知識を必要とする領域において、データアノテータとしてのLLMが果たすことの度合いは未定である。 本研究では,3つの専門分野にわたる包括的アプローチについて検討し,費用対効果の観点からの実践的提案について考察する。 我々の知る限り、我々はLSMを専門家レベルのデータアノテータとして初めて体系的に評価した。

関連論文リスト

• A Practical Guide to Fine-tuning Language Models with Limited Data [9.413178499853156]
  事前訓練されたLarge Language Models (LLM) を採用することは、膨大なデータ要件にもかかわらず、自然言語処理(NLP)における事実上の標準となっている。 限られたデータを用いたLLMの学習に焦点をあてた最近の研究の急増に触発された本研究では、データ不足の下流タスクにおけるモデル性能を最適化するための、近年のトランスファー学習アプローチについて調査する。
  論文  参考訳（メタデータ） (2024-11-14T15:55:37Z)
• Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency [13.561104321425045]
  LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。 金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。 我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
  論文  参考訳（メタデータ） (2024-03-26T23:32:52Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• Human Still Wins over LLM: An Empirical Study of Active Learning on Domain-Specific Annotation Tasks [37.56584999012332]
  小さなモデルは数百のラベル付きデータでGPT-3.5より優れており、数百倍小さいにもかかわらずGPT-4よりも高いまたは類似した性能を達成できる。 これらの結果から,LLM予測は実世界のアプリケーションにおけるウォームアップ手法として利用できると仮定した。
  論文  参考訳（メタデータ） (2023-11-16T11:51:13Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
  実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
  論文  参考訳（メタデータ） (2023-08-20T03:03:34Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
  情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。 本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
  論文  参考訳（メタデータ） (2022-02-16T13:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。