論文の概要: The Effectiveness of LLMs as Annotators: A Comparative Overview and Empirical Analysis of Direct Representation

• arxiv url: http://arxiv.org/abs/2405.01299v1
• Date: Thu, 2 May 2024 14:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 16:24:55.054530
• Title: The Effectiveness of LLMs as Annotators: A Comparative Overview and Empirical Analysis of Direct Representation
• Title（参考訳）: アノテーションとしてのLLMの有効性:直接表現の比較と実証分析
• Authors: Maja Pavlovic, Massimo Poesio,
• Abstract要約: 大規模言語モデル(LLM)は、さまざまな自然言語タスクやさまざまなアプリケーションドメインにまたがる強力なサポートツールとして登場した。 本稿では,ラベル付けデータにおけるLCMの可能性について,12種類の研究結果の比較検討を行った。 モデルは有望なコストと時間の節約効果を示すが、代表性、偏見、変化を促す感度、英語の好みなど、かなりの制限がある。
• 参考スコア（独自算出の注目度）: 5.249002650134171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as powerful support tools across various natural language tasks and a range of application domains. Recent studies focus on exploring their capabilities for data annotation. This paper provides a comparative overview of twelve studies investigating the potential of LLMs in labelling data. While the models demonstrate promising cost and time-saving benefits, there exist considerable limitations, such as representativeness, bias, sensitivity to prompt variations and English language preference. Leveraging insights from these studies, our empirical analysis further examines the alignment between human and GPT-generated opinion distributions across four subjective datasets. In contrast to the studies examining representation, our methodology directly obtains the opinion distribution from GPT. Our analysis thereby supports the minority of studies that are considering diverse perspectives when evaluating data annotation tasks and highlights the need for further research in this direction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな自然言語タスクやさまざまなアプリケーションドメインにまたがる強力なサポートツールとして登場した。 最近の研究は、データアノテーションの能力を探求することに焦点を当てている。 本稿では,ラベル付けデータにおけるLCMの可能性について,12種類の研究結果の比較検討を行った。 モデルは有望なコストと時間の節約効果を示すが、代表性、偏見、変化を促す感度、英語の好みなど、かなりの制限がある。 これらの研究から得られた知見を活かして、実験分析により、4つの主観的データセットにまたがる人間とGPTが生成する意見分布の整合性をさらに検証した。 表現を調査する研究とは対照的に,本手法はGPTから意見分布を直接取得する。 そこで本研究では,データアノテーションタスクの評価において多様な視点を考慮に入れている少数の研究を支援し,今後の研究の必要性を強調した。

関連論文リスト

• From Text to Insight: Leveraging Large Language Models for Performance Evaluation in Management [6.70908766695241]
  本研究では,大規模言語モデル(LLM),特にGPT-4の可能性を探り,組織的タスクパフォーマンス評価における客観性を高める。 以上の結果から,GPT評価は人間の評価に匹敵するが,一貫性と信頼性が高いことが示唆された。 LLMはテキストベースのデータから意味のある構成物を抽出できるが、その範囲は特定のパフォーマンス評価形式に限定されている。
  論文  参考訳（メタデータ） (2024-08-09T20:35:10Z)
• Predicting Emotion Intensity in Polish Political Texts: Comparing Supervised Models and Large Language Models in a Resource-Poor Language [0.0]
  本研究では,ポーランドの政治文における感情の強さを予測するために,大規模言語モデル(LLM)の利用について検討する。 本研究は,ソーシャルメディアテキスト1万件の注釈付きコーパスを用いた教師付きモデルと比較した。
  論文  参考訳（メタデータ） (2024-07-16T19:53:14Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• The State of the Art in Enhancing Trust in Machine Learning Models with the Use of Visualizations [0.0]
  機械学習(ML)モデルは、医学、バイオインフォマティクス、その他の科学など、様々な分野の複雑な応用で使われている。 しかし、ブラックボックスの性質のため、それらが提供する結果を理解し、信頼することは難しいこともある。 これにより、MLモデルの信頼性向上に関連する信頼性の高い視覚化ツールの需要が増加した。 本稿では,インタラクティブな可視化によるMLモデルの信頼性向上について,STAR(State-of-the-Art Report)を提案する。
  論文  参考訳（メタデータ） (2022-12-22T14:29:43Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。