論文の概要: ToxiLab: How Well Do Open-Source LLMs Generate Synthetic Toxicity Data?

• arxiv url: http://arxiv.org/abs/2411.15175v3
• Date: Tue, 18 Feb 2025 15:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:04:34.421278
• Title: ToxiLab: How Well Do Open-Source LLMs Generate Synthetic Toxicity Data?
• Title（参考訳）: ToxiLab: オープンソースLLMは、どのようにして合成毒性データを生成しますか?
• Authors: Zheng Hui, Zhaoxiao Guo, Hang Zhao, Juanyong Duan, Lin Ai, Yinheng Li, Julia Hirschberg, Congrui Huang,
• Abstract要約: 本研究では、有害なデータ合成のためのオープンソースのLCMの可能性について検討する。 幻覚と重複を最小限に抑えつつ,多種多様な高品質な有害データを生成する能力を評価する。 この結果から, 微調整されたオープンソースLCMは, 有毒なコンテンツ検出データセットを増強するための, スケーラブルで費用対効果の高いソリューションを提供することがわかった。
• 参考スコア（独自算出の注目度）: 29.23490658406256
• License:
• Abstract: Effective toxic content detection relies heavily on high-quality and diverse data, which serve as the foundation for robust content moderation models. Synthetic data has become a common approach for training models across various NLP tasks. However, its effectiveness remains uncertain for highly subjective tasks like hate speech detection, with previous research yielding mixed results. This study explores the potential of open-source LLMs for harmful data synthesis, utilizing controlled prompting and supervised fine-tuning techniques to enhance data quality and diversity. We systematically evaluated 6 open source LLMs on 5 datasets, assessing their ability to generate diverse, high-quality harmful data while minimizing hallucination and duplication. Our results show that Mistral consistently outperforms other open models, and supervised fine-tuning significantly enhances data reliability and diversity. We further analyze the trade-offs between prompt-based vs. fine-tuned toxic data synthesis, discuss real-world deployment challenges, and highlight ethical considerations. Our findings demonstrate that fine-tuned open source LLMs provide scalable and cost-effective solutions to augment toxic content detection datasets, paving the way for more accessible and transparent content moderation tools.
• Abstract（参考訳）: 効果的な有毒なコンテンツ検出は高品質で多様なデータに依存しており、堅牢なコンテンツモデレーションモデルの基盤となっている。 合成データは、様々なNLPタスクにわたるモデルのトレーニングにおいて一般的なアプローチとなっている。 しかし、ヘイトスピーチ検出のような主観的なタスクに対して、その効果は依然として不確実であり、以前の研究では、混合の結果が得られた。 本研究では,データ品質と多様性を高めるために,制御されたプロンプトと教師付き微調整技術を利用して,有害なデータ合成のためのオープンソースのLCMの可能性を検討する。 5つのデータセット上で6つのオープンソースLCMを体系的に評価し,幻覚と重複を最小限に抑えつつ,多種多様な高品質な有害データを生成する能力を評価した。 我々の結果は、Mistralが他のオープンモデルよりも一貫して優れており、教師付き微調整はデータの信頼性と多様性を大幅に向上させることを示している。 我々はさらに、プロンプトベースと微調整された有毒なデータ合成のトレードオフを分析し、現実世界の展開課題について議論し、倫理的考察を強調します。 我々の研究結果は、微調整されたオープンソースのLLMが、有毒なコンテンツ検出データセットを増強し、よりアクセスしやすく透明なコンテンツモデレーションツールの道を開く、スケーラブルで費用効率のよいソリューションを提供することを示した。

関連論文リスト

• Few-shot LLM Synthetic Data with Distribution Matching [37.55363714371521]
  大規模言語モデル(LLM)は、より小さなモデルの性能を高めるために高品質な合成データを生成する。 LLMの生成した合成データは、しばしばキー言語属性の実際のデータとは異なる。 鍵属性分布マッチングに基づく合成データ生成およびフィルタリングフレームワークであるSynAlignを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T16:43:32Z)
• Large Language Models for Market Research: A Data-augmentation Approach [3.3199591445531453]
  大規模言語モデル(LLM)は、複雑な自然言語処理タスクに優れ、人工知能を変革した。 近年の研究では、LLMが生成するデータと人間のデータの間に大きなギャップが見られ、両者を置換する際にバイアスが発生している。 コンジョイント解析において,LLM生成データと実データとを効率的に統合する新しい統計データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T22:06:29Z)
• Evaluating Language Models as Synthetic Data Generators [74.80905172696366]
  AgoraBenchは、LMのデータ生成能力を評価するための標準化された設定とメトリクスを提供するベンチマークである。 6つのLMを使って126万のトレーニングインスタンスを合成し、99の学生モデルをトレーニングすることで、LMのデータ生成能力に関する重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2024-12-04T19:20:32Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning [37.54523122932728]
  大規模言語モデル(LLM)を用いたパイプラインベースのデータ拡張手法を提案する。 データ多様性の低い問題に対処するため、私たちのパイプラインは知識グラフ(KG)を使用してエンティティや量を取り出す。 高いデータノイズに対処するため、GCSEモデルは偽硬陰性サンプルの影響を制限するためにガウス分解関数を使用する。
  論文  参考訳（メタデータ） (2024-09-19T16:29:58Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。