論文の概要: Can Open-source LLMs Enhance Data Augmentation for Toxic Detection?: An Experimental Study

• arxiv url: http://arxiv.org/abs/2411.15175v1
• Date: Mon, 18 Nov 2024 00:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 04:14:36.754184
• Title: Can Open-source LLMs Enhance Data Augmentation for Toxic Detection?: An Experimental Study
• Title（参考訳）: 毒性検出のためのデータ拡張をオープンソースで実現するか? : 実験的研究
• Authors: Zheng Hui, Zhaoxiao Guo, Hang Zhao, Juanyong Duan, Lin Ai, Yinheng Li, Julia Hirschberg, Congrui Huang,
• Abstract要約: 高品質で多様な有害なデータは、コンテンツモデレーションにおけるリアルタイムアプリケーションに対処するために不可欠である。 GPTシリーズモデルを用いた有害なコンテンツ検出への最先端のアプローチは費用がかかり、説明性が欠如している。 本稿では, 有害データ増大の促進を目的として, オープンソースLCMにおける迅速な工学的手法と微調整手法の活用について検討する。
• 参考スコア（独自算出の注目度）: 29.23490658406256
• License:
• Abstract: High-quality, diverse harmful data is essential to addressing real-time applications in content moderation. Current state-of-the-art approaches to toxic content detection using GPT series models are costly and lack explainability. This paper investigates the use of prompt engineering and fine-tuning techniques on open-source LLMs to enhance harmful data augmentation specifically for toxic content detection. We conduct a two-stage empirical study, with stage 1 evaluating six open-source LLMs across multiple datasets using only prompt engineering and stage 2 focusing on fine-tuning. Our findings indicate that Mistral can excel in generating harmful data with minimal hallucination. While fine-tuning these models improves data quality and diversity, challenges such as data duplication and overfitting persist. Our experimental results highlight scalable, cost-effective strategies for enhancing toxic content detection systems. These findings not only demonstrate the potential of open-source LLMs in creating robust content moderation tools. The application of this method in real industrial scenarios further proves the feasibility and efficiency of the fine-tuned open-source LLMs for data augmentation. We hope our study will aid in understanding the capabilities and limitations of current models in toxic content detection and drive further advancements in this field.
• Abstract（参考訳）: 高品質で多様な有害なデータは、コンテンツモデレーションにおけるリアルタイムアプリケーションに対処するために不可欠である。 GPTシリーズモデルを用いた有害コンテンツ検出への最先端のアプローチは費用がかかり、説明性が欠如している。 本稿では, 有害なコンテンツ検出のための有害なデータ拡張を促進すべく, オープンソースLCMの迅速な工学的手法と微調整技術の利用について検討する。 我々は2段階の実証実験を行い、ステージ1は、素早いエンジニアリングのみを使用して、複数のデータセットにまたがる6つのオープンソースLCMを評価し、ステージ2は微調整に焦点を当てた。 以上の結果から,ミストラルは幻覚の少ない有害なデータを生成できる可能性が示唆された。 これらのモデルを微調整することで、データ品質と多様性が向上する一方で、データの重複や過剰適合といった課題が持続する。 実験結果は,有毒なコンテンツ検出システムを強化するためのスケーラブルで費用対効果の高い戦略を強調した。 これらの知見は、ロバストなコンテンツモデレーションツールを作成する際のオープンソースのLLMの可能性を示すだけでなく、その可能性を示すものである。 実産業シナリオにおける本手法の適用により、データ拡張のための細調整されたオープンソースLCMの実現性と効率性がさらに証明される。 我々の研究は、有害なコンテンツ検出における現在のモデルの性能と限界を理解するのに役立ち、この分野のさらなる進歩を促すことを願っている。

関連論文リスト

• Few-shot LLM Synthetic Data with Distribution Matching [37.55363714371521]
  大規模言語モデル(LLM)は、より小さなモデルの性能を高めるために高品質な合成データを生成する。 LLMの生成した合成データは、しばしばキー言語属性の実際のデータとは異なる。 鍵属性分布マッチングに基づく合成データ生成およびフィルタリングフレームワークであるSynAlignを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T16:43:32Z)
• Large Language Models for Market Research: A Data-augmentation Approach [3.3199591445531453]
  大規模言語モデル(LLM)は、複雑な自然言語処理タスクに優れ、人工知能を変革した。 近年の研究では、LLMが生成するデータと人間のデータの間に大きなギャップが見られ、両者を置換する際にバイアスが発生している。 コンジョイント解析において,LLM生成データと実データとを効率的に統合する新しい統計データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T22:06:29Z)
• Evaluating Language Models as Synthetic Data Generators [74.80905172696366]
  AgoraBenchは、LMのデータ生成能力を評価するための標準化された設定とメトリクスを提供するベンチマークである。 6つのLMを使って126万のトレーニングインスタンスを合成し、99の学生モデルをトレーニングすることで、LMのデータ生成能力に関する重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2024-12-04T19:20:32Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning [37.54523122932728]
  大規模言語モデル(LLM)を用いたパイプラインベースのデータ拡張手法を提案する。 データ多様性の低い問題に対処するため、私たちのパイプラインは知識グラフ(KG)を使用してエンティティや量を取り出す。 高いデータノイズに対処するため、GCSEモデルは偽硬陰性サンプルの影響を制限するためにガウス分解関数を使用する。
  論文  参考訳（メタデータ） (2024-09-19T16:29:58Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。