論文の概要: The Parrot Dilemma: Human-Labeled vs. LLM-augmented Data in Classification Tasks

• arxiv url: http://arxiv.org/abs/2304.13861v2
• Date: Mon, 5 Feb 2024 14:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 06:39:14.560187
• Title: The Parrot Dilemma: Human-Labeled vs. LLM-augmented Data in Classification Tasks
• Title（参考訳）: Parrot Dilemma: 分類作業における人間ラベルとLLM拡張データ
• Authors: Anders Giovanni M{\o}ller, Jacob Aarup Dalsgaard, Arianna Pera, Luca Maria Aiello
• Abstract要約: GPT-4 と Llama-2 から合成したデータと人間のラベル付きデータとを10種類のCSS分類タスクで比較した。 以上の結果から,人間のラベル付きデータに基づいてトレーニングしたモデルでは,人工的に強化したモデルよりも優れた,あるいは同等の性能を示すことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of Computational Social Science (CSS), practitioners often navigate complex, low-resource domains and face the costly and time-intensive challenges of acquiring and annotating data. We aim to establish a set of guidelines to address such challenges, comparing the use of human-labeled data with synthetically generated data from GPT-4 and Llama-2 in ten distinct CSS classification tasks of varying complexity. Additionally, we examine the impact of training data sizes on performance. Our findings reveal that models trained on human-labeled data consistently exhibit superior or comparable performance compared to their synthetically augmented counterparts. Nevertheless, synthetic augmentation proves beneficial, particularly in improving performance on rare classes within multi-class tasks. Furthermore, we leverage GPT-4 and Llama-2 for zero-shot classification and find that, while they generally display strong performance, they often fall short when compared to specialized classifiers trained on moderately sized training sets.
• Abstract（参考訳）: 計算社会科学(css)の領域では、実践者は複雑で低リソースのドメインをナビゲートし、データの取得と注釈付けのコストと時間を要する課題に直面する。 我々は,GPT-4 と Llama-2 から生成した合成データを用いて,複雑度の異なる 10 個のCSS 分類タスクにおいて,人間のラベル付きデータを用いて,このような課題に対処するためのガイドラインを確立することを目的とする。 さらに,データサイズのトレーニングがパフォーマンスに与える影響についても検討する。 以上の結果から,人間のラベル付きデータに基づいてトレーニングしたモデルでは,人工的に強化したモデルよりも優れた,あるいは同等の性能を示すことがわかった。 にもかかわらず、合成強化は特に多クラスタスクにおける希少なクラスの性能向上に有益である。 さらに, GPT-4 と Llama-2 をゼロショット分類に利用し, 高い性能を示すが, 適度な訓練セットで訓練した特殊分類器に比べ, しばしば不足することがわかった。

関連論文リスト

• SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking [56.93151679231602]
  本研究は、応答における2つの重要なスタイル的要素、すなわち言語形式と意味的前提を同定する。 これに触発されて、スタイル一貫性対応対応ランキング(SCAR)を導入する。 SCARは、そのレスポンススタイリスティックな一貫性に基づいて、トレーニングセット内の命令-レスポンスペアを優先順位付けする。
  論文  参考訳（メタデータ） (2024-06-16T10:10:37Z)
• Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations [21.583825474908334]
  本研究では,合成データに基づいて学習したモデルの性能が,分類の主観性によってどう変化するかを検討する。 その結果,主観性は,タスクレベルとインスタンスレベルの両方において,合成データに基づいて訓練されたモデルの性能と負の相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T19:51:13Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• LSTM and GPT-2 Synthetic Speech Transfer Learning for Speaker Recognition to Overcome Data Scarcity [3.1428836133120543]
  音声認識問題において、データの不足は、学習と分類のために大量のデータを提供する人間の意志によってしばしば問題となる。 本研究では、7人の被験者から5つのハーバードの文章を抽出し、そのMFCC属性について考察する。 文字レベルLSTMとOpenAIの注意に基づくGPT-2モデルを用いて、合成MFCCは、オブジェクト単位のデータから学習することによって生成される。
  論文  参考訳（メタデータ） (2020-07-01T13:52:58Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。