論文の概要: Multi-News+: Cost-efficient Dataset Cleansing via LLM-based Data Annotation

• arxiv url: http://arxiv.org/abs/2404.09682v1
• Date: Mon, 15 Apr 2024 11:36:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 12:40:28.462862
• Title: Multi-News+: Cost-efficient Dataset Cleansing via LLM-based Data Annotation
• Title（参考訳）: Multi-News+: LLMデータアノテーションによる費用効率の良いデータセットのクリーン化
• Authors: Juhwan Choi, Jungmin Yun, Kyohoon Jin, YoungBin Kim,
• Abstract要約: 本稿では,大規模言語モデル(LLM)をデータアノテーションに適用し,既存のデータセットの品質を高めるケーススタディを提案する。 具体的には、チェーン・オブ・思想(CoT)や多数決のようなアプローチを利用して、人間のアノテーションを模倣し、Multi-Newsデータセットから無関係な文書を分類する。
• 参考スコア（独自算出の注目度）: 9.497148303350697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quality of the dataset is crucial for ensuring optimal performance and reliability of downstream task models. However, datasets often contain noisy data inadvertently included during the construction process. Numerous attempts have been made to correct this issue through human annotators. However, hiring and managing human annotators is expensive and time-consuming. As an alternative, recent studies are exploring the use of large language models (LLMs) for data annotation. In this study, we present a case study that extends the application of LLM-based data annotation to enhance the quality of existing datasets through a cleansing strategy. Specifically, we leverage approaches such as chain-of-thought (CoT) and majority voting to imitate human annotation and classify unrelated documents from the Multi-News dataset, which is widely used for the multi-document summarization task. Through our proposed cleansing method, we introduce an enhanced Multi-News+. By employing LLMs for data cleansing, we demonstrate an efficient and effective approach to improving dataset quality without relying on expensive human annotation efforts.
• Abstract（参考訳）: データセットの品質は、下流のタスクモデルの最適なパフォーマンスと信頼性を保証するために不可欠である。 しかし、データセットは、建設プロセス中に不注意に含まれているノイズの多いデータを含むことが多い。 人間アノテータによってこの問題を修正するために、多くの試みがなされている。 しかし、人間アノテータの採用と管理は高価で時間を要する。 代替として、最近の研究では、データアノテーションに大規模言語モデル(LLM)を使うことを検討している。 本研究では, LLMに基づくデータアノテーションの適用を拡大し, クリーン化戦略を通じて既存のデータセットの品質を向上させるケーススタディを提案する。 具体的には,多文書要約タスクに広く使用されているマルチニューズデータセットから,人間のアノテーションを模倣し,無関係な文書を分類するために,チェーン・オブ・思想(CoT)や多数決といったアプローチを活用する。 提案手法により,改良されたMulti-News+を導入する。 データクリーニングにLLMを用いることで、高価な人的アノテーションに頼らずに、データセットの品質を改善するための効率的かつ効果的なアプローチを実証する。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• The Promises and Pitfalls of LLM Annotations in Dataset Labeling: a Case Study on Media Bias Detection [23.378592856800168]
  大きな言語モデル(LLM)は、アノテーションプロセスの自動化に使用することができる。 本研究では,メディアバイアス検出の複雑なタスクにLDMが適用可能であるかを検討する。 メディアバイアス分類のための,最初の大規模データセットであるAnnolexicalを作成します。
  論文  参考訳（メタデータ） (2024-11-17T14:14:36Z)
• Efficient Alignment of Large Language Models via Data Sampling [0.4915744683251149]
  本稿では,少数の高品質サブセットを同定し,効率的なアライメントのための情報理論に基づく手法を提案する。 提案手法を用いたモデルでは,他のサンプリング手法よりも優れた性能を示し,全データセットに対応するモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-11-15T19:36:15Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Making Large Language Models Better Data Creators [22.0882632635255]
  大規模言語モデル(LLM)はNLPの最先端を著しく進歩させた。 ダウンストリームアプリケーションへのデプロイは、コスト、応答性、コントロール、プライバシとセキュリティに関する懸念のため、依然として難しい。 単一フォーマットの例のみを必要とする統一データ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-10-31T01:08:34Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。