Fugu-MT 論文翻訳(概要): Are Expert-Level Language Models Expert-Level Annotators?

論文の概要: Are Expert-Level Language Models Expert-Level Annotators?

arxiv url: http://arxiv.org/abs/2410.03254v1
Date: Fri, 4 Oct 2024 09:17:09 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 23:28:42.568691
Title: Are Expert-Level Language Models Expert-Level Annotators?
Title（参考訳）: エキスパートレベル言語モデルはエキスパートレベルアノテーションか?
Authors: Yu-Min Tseng, Wei-Lin Chen, Chung-Chi Chen, Hsin-Hsi Chen,
Abstract要約: 本研究では,データアノテータとしてのLSMが専門知識を必要とする領域でどの程度機能するかを検討する。我々の知る限り、我々はLSMを専門家レベルのデータアノテータとして初めて体系的に評価した。
参考スコア（独自算出の注目度）: 17.06186816803593
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data annotation refers to the labeling or tagging of textual data with relevant information. A large body of works have reported positive results on leveraging LLMs as an alternative to human annotators. However, existing studies focus on classic NLP tasks, and the extent to which LLMs as data annotators perform in domains requiring expert knowledge remains underexplored. In this work, we investigate comprehensive approaches across three highly specialized domains and discuss practical suggestions from a cost-effectiveness perspective. To the best of our knowledge, we present the first systematic evaluation of LLMs as expert-level data annotators.
Abstract（参考訳）: データアノテーションは、関連する情報を含むテキストデータのラベル付けやタグ付けを指す。 LLMをヒトのアノテーターの代替品として利用することについて、多くの研究が肯定的な結果を報告している。しかし、既存の研究は古典的なNLPタスクに焦点をあてており、専門家の知識を必要とする領域において、データアノテータとしてのLLMが果たすことの度合いは未定である。本研究では,3つの専門分野にわたる包括的アプローチについて検討し,費用対効果の観点からの実践的提案について考察する。我々の知る限り、我々はLSMを専門家レベルのデータアノテータとして初めて体系的に評価した。

関連論文リスト

From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
論文参考訳（メタデータ） (2025-02-17T12:58:17Z)
Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey [39.82566660592583]
大規模言語モデル(LLM)は、自然言語理解、テキスト要約、機械翻訳といった様々なタスクにおいて顕著な成功を収めている。彼らの汎用的な性質は、医療、化学、法的な分析といった専門的な知識を必要とするドメイン固有のアプリケーションにおいて、その効果を制限していることが多い。これを解決するために、研究者はドメイン固有の知識を統合することでLLMを強化する様々な方法を模索してきた。
論文参考訳（メタデータ） (2025-02-15T07:43:43Z)
Evaluating LLM Reasoning in the Operations Research Domain with ORQA [19.72699080797411]
我々は,大規模言語モデル(LLM)の一般化能力を評価するために設計された新しいベンチマークであるOperations Research Question Answering(ORQA)を導入し,適用する。このデータセットは、数学モデルを構築するために多段階推論を必要とする実世界の最適化問題を特徴としている。 LLaMA 3.1、DeepSeek、MixtralなどのオープンソースLLMの評価では、その質素な性能が明らかにされ、専門技術ドメインへの一般化能力のギャップが浮かび上がっている。
論文参考訳（メタデータ） (2024-12-22T09:10:34Z)
LEARN: Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
Llm-driven knowlEdge Adaptive RecommeNdation (LEARN)フレームワークは、オープンワールドの知識と協調的な知識をシナジする。オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-07T04:00:30Z)
Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency [13.561104321425045]
LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
論文参考訳（メタデータ） (2024-03-26T23:32:52Z)
EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
論文参考訳（メタデータ） (2023-12-25T11:31:47Z)
Human Still Wins over LLM: An Empirical Study of Active Learning on Domain-Specific Annotation Tasks [37.56584999012332]
小さなモデルは数百のラベル付きデータでGPT-3.5より優れており、数百倍小さいにもかかわらずGPT-4よりも高いまたは類似した性能を達成できる。これらの結果から,LLM予測は実世界のアプリケーションにおけるウォームアップ手法として利用できると仮定した。
論文参考訳（メタデータ） (2023-11-16T11:51:13Z)
Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文参考訳（メタデータ） (2023-11-16T07:09:38Z)
A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文参考訳（メタデータ） (2023-05-31T13:51:26Z)
Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文参考訳（メタデータ） (2022-02-16T13:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。