論文の概要: Toxicity of the Commons: Curating Open-Source Pre-Training Data

• arxiv url: http://arxiv.org/abs/2410.22587v2
• Date: Mon, 18 Nov 2024 18:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:41.455407
• Title: Toxicity of the Commons: Curating Open-Source Pre-Training Data
• Title（参考訳）: コミュニティの毒性: オープンソースの事前トレーニングデータのキュレーション
• Authors: Catherine Arnett, Eliot Jones, Ivan P. Yamshchikov, Pierre-Carl Langlais,
• Abstract要約: 本研究では、パブリックドメインデータに基づいてトレーニングされたモデルにより有害な出力を減らすためのデータキュレーションパイプラインを提案する。 現在の毒性フィルタリングに対する最先端のアプローチは、しばしばオープンデータモデルに不適当または不適当である。 我々は5つの異なる次元にまたがって分類されたテキストからなるカスタムトレーニングデータセット、ToxicCommonsを作成します。
• 参考スコア（独自算出の注目度）: 6.137272725645159
• License:
• Abstract: Open-source large language models are becoming increasingly available and popular among researchers and practitioners. While significant progress has been made on open-weight models, open training data is a practice yet to be adopted by the leading open-weight models creators. At the same time, there researchers are working to make language models safer. We propose a data curation pipeline to reduce harmful outputs by models trained on public domain data. There are unique challenges to working with public domain data, as these sources differ from web text in both form and content. Many sources are historical documents and are the result of Optical Character Recognition (OCR). Consequently, current state-of-the-art approaches to toxicity filtering are often infeasible or inappropriate for open data models. In this paper, we introduce a new fully open-source pipeline for open-data toxicity filtering. Our contributions are threefold. We create a custom training dataset, ToxicCommons, which is composed of texts which have been classified across five different dimensions (racial/origin-based, gender/sex-based, religious, ability-based discrimination, and violence). We use this dataset to train a custom classifier, Celadon, that can be used to detect toxic content in open data more efficiently at a larger scale. Finally, we describe the balanced approach to content filtration that optimizes safety filtering with respect to the filtered data available for training.
• Abstract（参考訳）: オープンソースの大規模言語モデルは、研究者や実践者の間でますます普及している。 オープンウェイトモデルは大きな進歩を遂げているが、オープントレーニングデータは、主要なオープンウェイトモデルのクリエーターがまだ採用していないプラクティスである。 同時に、研究者は言語モデルをより安全にすることに取り組んでいる。 本研究では、パブリックドメインデータに基づいてトレーニングされたモデルにより有害な出力を減らすためのデータキュレーションパイプラインを提案する。 これらのソースは、フォームとコンテンツの両方でWebテキストとは異なるため、パブリックドメインデータを扱う上で、ユニークな課題があります。 多くの史料が史料であり、光学文字認識(OCR)の結果である。 したがって、現在の毒性フィルタリングに対する最先端のアプローチは、しばしばオープンデータモデルでは不可能または不適切である。 本稿では,オープンデータ毒性フィルタリングのための完全オープンソースパイプラインを提案する。 私たちの貢献は3倍です。 ToxicCommonsというカスタムトレーニングデータセットを作成しました。これは5つの異なる次元(人種/オリジンベース、性別/性別ベース、宗教、能力ベースの差別、暴力)で分類されたテキストで構成されています。 私たちはこのデータセットを使用して、より大規模なオープンデータの有害なコンテンツをより効率的に検出できるカスタム分類器であるCerladonをトレーニングしています。 最後に、トレーニングに利用可能なフィルタリングデータに対して、安全フィルタリングを最適化するコンテンツフィルタリングに対するバランスのとれたアプローチについて述べる。

関連論文リスト

• Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
  ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:27:54Z)
• Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection [105.9932053078449]
  本研究では,より一般的な人工物表現を捉えるのに,小型かつトレーニング不要なフィルタが十分であることを示す。 トレーニングソースとテストソースの両方に不偏があるため、未確認ソースに対して魅力的な改善を実現するために、Data-Independent Operator (DIO)と定義する。 我々の検出器は13.3%の大幅な改善を実現し、新しい最先端の性能を確立した。
  論文  参考訳（メタデータ） (2024-03-11T15:22:28Z)
• Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
  本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。 敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T18:47:03Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
  公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。 実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-09T06:46:42Z)
• Perplexed by Quality: A Perplexity-based Method for Adult and Harmful Content Detection in Multilingual Heterogeneous Web Data [0.0]
  我々は多言語不均一なWebデータにおいて、成人と有害なコンテンツを検出する様々な方法を探究する。 我々は、成人および有害なテキストデータのみを訓練し、与えられたしきい値以上の難易度値の文書を選択する。 このアプローチは、文書を事実上2つの異なるグループにクラスタリングし、パープレキシティのしきい値の選択を大幅に促進します。
  論文  参考訳（メタデータ） (2022-12-20T17:14:45Z)
• You Are What You Write: Preserving Privacy in the Era of Large Language Models [2.3431670397288005]
  本稿では,様々な人気モデルを用いて,事前学習された表現に符号化された個人情報の範囲について,実証的研究を行う。 モデルの複雑さ,事前学習に使用するデータ量,およびデータ漏洩との間には,正の相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-20T11:12:53Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。