論文の概要: AutoPureData: Automated Filtering of Web Data for LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2406.19271v1
• Date: Thu, 27 Jun 2024 15:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-28 13:38:31.423253
• Title: AutoPureData: Automated Filtering of Web Data for LLM Fine-tuning
• Title（参考訳）: AutoPureData: LLMファインチューニングのためのWebデータの自動フィルタリング
• Authors: Praneeth Vadlapati,
• Abstract要約: 本研究では,既存の信頼されたAIモデルの助けを借りて,Webデータを収集し,不要なテキストを自動的にフィルタリングするシステムを提案する。 実験では、Webデータの小さなサンプルを収集し、フィルタリングし、データを浄化するシステムの有効性を実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Up-to-date and reliable Large Language Models (LLMs) are consistently sought after. Typically, LLMs are trained on a fixed dataset and then deployed. However, the training data continually becomes outdated. Enable automatic training of AI using web data involves significant concerns regarding data quality and safety due to bias, spam, and other unsafe or unwanted text. Pure data is essential for producing reliable models. Training a model on impure data may result in undesirable outcomes. This research proposes a system that collects web data and automatically filters out unwanted text with the assistance of existing trusted AI models. In the experiment, a small sample of web data was collected and filtered, demonstrating the system's effectiveness in purifying the data.
• Abstract（参考訳）: 最新かつ信頼性の高いLarge Language Models (LLM) は一貫して追求されている。 通常、LLMは固定データセットでトレーニングされ、デプロイされる。 しかし、トレーニングデータは時代遅れになる。 Webデータを使用したAIの自動トレーニングを可能にするには、バイアスやスパム、その他の安全でないあるいは望ましくないテキストによるデータ品質と安全性に関する重大な懸念が伴う。 信頼できるモデルを作るには、純粋なデータが不可欠だ。 不純なデータに対するモデルのトレーニングは、望ましくない結果をもたらす可能性がある。 本研究では,既存の信頼されたAIモデルの助けを借りて,Webデータを収集し,不要なテキストを自動的にフィルタリングするシステムを提案する。 実験では、Webデータの小さなサンプルを収集し、フィルタリングし、データを浄化するシステムの有効性を実証した。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter [7.886307329450978]
  ダイナスタイルのアルゴリズムは、推定環境モデルからのシミュレーションデータを用いてモデルフリートレーニングを加速することにより、2つのアプローチを組み合わせる。 これまでの作業では、モデルアンサンブルを使用したり、実際の環境から収集されたデータで推定されたモデルを事前訓練することで、この問題に対処している。 本研究では,実環境において収集したデータから大きく分岐する推定モデルからシミュレーションデータを除去するアウト・オブ・ディストリビューションデータフィルタを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:49:03Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Releasing Malevolence from Benevolence: The Menace of Benign Data on Machine Unlearning [28.35038726318893]
  大量の実データや合成データに基づいてトレーニングされた機械学習モデルは、様々な領域で優れた予測性能を達成する。 プライバシの懸念に対処するため、モデルから特定のデータサンプルを削除するために、機械学習が提案されている。 本研究では,データ配信情報を少量の良質なデータ集合に抽出するために,Unlearning Usability Attackを導入する。
  論文  参考訳（メタデータ） (2024-07-06T15:42:28Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• LatestEval: Addressing Data Contamination in Language Model Evaluation through Dynamic and Time-Sensitive Test Construction [21.553915781660905]
  LatestEvalは、最新のテキストを活用して、非汚染読影理解評価を作成する自動手法である。 これは、最近のタイムウインドウで公開されたテキストのみを使用することでデータ汚染を回避し、事前訓練された言語モデルのトレーニングコーパスと重複しないようにする。 実験の結果,従来のベンチマークとは対照的に,言語モデルは LatestEval 上で無視可能な記憶行動を示すことがわかった。
  論文  参考訳（メタデータ） (2023-12-19T17:16:43Z)
• Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
  本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。 敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T18:47:03Z)
• Implicit meta-learning may lead language models to trust more reliable sources [9.073765860925395]
  合成微調整データセットにおける有用性の指標としてランダム文字列(タグ)を導入する。 このデータセットの微調整は暗黙的メタラーニング(IML)につながる 私たちは、将来のAIシステムの能力、リスク、制御可能性について、私たちの結果が示唆するものを反映しています。
  論文  参考訳（メタデータ） (2023-10-23T15:50:08Z)
• From Zero to Hero: Detecting Leaked Data through Synthetic Data Injection and Model Querying [10.919336198760808]
  分類モデルの学習に使用される漏洩データを検出する新しい手法を提案する。 textscLDSSは、クラス分散の局所的なシフトによって特徴付けられる、少量の合成データを所有者のデータセットに注入する。 これにより、モデルクエリ単独で、リークデータに基づいてトレーニングされたモデルの効果的な識別が可能になる。
  論文  参考訳（メタデータ） (2023-10-06T10:36:28Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks [70.39633252935445]
  データ汚染は、大規模な自動クロールコーパスで事前訓練されたモデルの台頭によって、普及し、課題となっている。 クローズドモデルの場合、トレーニングデータはトレードシークレットになり、オープンモデルであっても汚染を検出するのは簡単ではない。 1)公開するテストデータを公開鍵で暗号化し,デリバティブ配信を許可する,(2)クローズドAPI保持者からの要求トレーニング排他的コントロールを許可する,(2)評価を拒否してテストデータを保護する,(3)インターネット上のソリューションで表示されるデータを避け,インターネット由来のWebページコンテキストを解放する,という3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T12:23:38Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Deep Learning Approach for Classifying the Aggressive Comments on Social Media: Machine Translated Data Vs Real Life Data [15.813222387547357]
  本稿では特に,アグレッシブコメントを検出するために,ヒンディー語,バングラ語,英語のデータセットについて研究した。 機械翻訳された英語データセットを,Long Short term memory model (LSTM), Bidirectional Long-Short term memory model (BiLSTM), word2vec, Bidirectional Representations from Transformers (BERT), Generative Pre-trained Transformer (GPT-2) などのモデルを用いて解析した。 ノイズを含まない生データや、特定のノイズ量を含む半ノイズデータなど、さらに2つのデータセットを用いてノイズデータを使用することの性能を比較した。
  論文  参考訳（メタデータ） (2023-03-13T21:43:08Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• Machine Unlearning Method Based On Projection Residual [23.24026891609028]
  本稿ではニュートン法に基づく投射残差法を採用する。 主な目的は、線形回帰モデルとニューラルネットワークモデルという文脈で機械学習タスクを実装することである。 実験により, この手法は, モデル再学習に近いデータ削除において, より徹底的な手法であることが確認された。
  論文  参考訳（メタデータ） (2022-09-30T07:29:55Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。