論文の概要: Pretraining Data Can Be Poisoned through Computational Propaganda
- arxiv url: http://arxiv.org/abs/2607.15267v1
- Date: Thu, 16 Jul 2026 17:56:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.204028
- Title: Pretraining Data Can Be Poisoned through Computational Propaganda
- Title(参考訳): 計算プロパガンダによる事前データの収集
- Abstract要約: 事前訓練データの収集は、検出や緩和が難しいLMに有害な行動をもたらす可能性がある。
我々は、既存のWebスケールコンテンツインジェクション機構により、事前学習データに対する中毒攻撃が実現可能であることを実証した。
オープンなディスカッションインターフェースを通じて、Webスケールでプレトレーニングコーパスを汚染する可能性を探るため、HalfLifeを使用します。
- 参考スコア(独自算出の注目度): 94.12810824760635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Poisoning pretraining data can introduce harmful behaviors to LMs that are difficult to detect and mitigate. Prior work on poisoning pretraining data has largely exploited established data sources such as Wikipedia, which do not represent the large scale and heterogeneity typical of pretraining corpora, and has ignored the interaction between poisoned data and data curation pipelines. We demonstrate that poisoning attacks on pretraining data are feasible beyond this limited setting through an existing web-scale content injection mechanism: public discussion interfaces. Additionally, to measure whether malicious content is included after web crawling and data curation, we introduce HalfLife, a novel analysis for estimating adversarial content inclusion in web-crawl based LM training data. We use HalfLife to explore the feasibility of poisoning pretraining corpora at web scale through open discussion interfaces. Our analysis demonstrates the importance of estimating whether poison injections are included in pretraining data, and establishes third-party webpage content as a possible vector for attacking language model pretraining.
- Abstract(参考訳): 事前訓練データの収集は、検出や緩和が難しいLMに有害な行動をもたらす可能性がある。
事前学習データに対する以前の研究は、ウィキペディアのような既存のデータソースを大いに活用しており、これは事前学習コーパスの典型的な大規模で不均一性を表すものではなく、有毒データとデータキュレーションパイプライン間の相互作用を無視している。
我々は,既存のWebスケールコンテンツインジェクション機構を通じて,事前学習データに対する中毒攻撃が,この制限された設定を超えて実現可能であることを実証した。
さらに,Webクローリングとデータキュレーションの後に悪意のあるコンテンツが含まれているかどうかを測定するために,Webクローリングに基づくLMトレーニングデータに敵対的コンテンツを含むことを推定するための新たな分析法であるHalfLifeを紹介した。
オープンなディスカッションインターフェースを通じて、Webスケールでプレトレーニングコーパスを汚染する可能性を探るため、HalfLifeを使用します。
本分析は, プレトレーニングデータに含まれる毒素の注入の有無を推定することの重要性を示し, プレトレーニング前の言語モデルを攻撃するためのベクターとして, サードパーティのWebページコンテンツを確立する。
関連論文リスト
- Unlearned but Not Forgotten: Data Extraction after Exact Unlearning in LLM [31.093224824043087]
学習前モデルからの信号を利用して学習後モデルを導く新しいデータ抽出攻撃を導入する。
シミュレーションされた医療診断データセット上での攻撃の有効性を実証し、正確なアンラーニングに関連する現実世界のプライバシーリスクを明らかにする。
論文 参考訳(メタデータ) (2025-05-30T09:09:33Z) - Understanding and Mitigating Toxicity in Image-Text Pretraining Datasets: A Case Study on LLaVA [0.0]
このデータセットは、LLaVA事前トレーニングデータセットにおいて、有害な画像テキストペアの7,531を除去する。
堅牢な毒性検出パイプラインを実装するためのガイドラインを提供する。
論文 参考訳(メタデータ) (2025-05-09T18:01:50Z) - Towards Safer Pretraining: Analyzing and Filtering Harmful Content in Webscale datasets for Responsible LLMs [1.7451266777840306]
大規模言語モデル(LLM)は、Common Crawl、C4、FineWebといった大規模なWebソースデータセットを事前トレーニングに活用して、さまざまな現実世界のアプリケーションに不可欠なものになっている。
このようなフィルタリングされていないデータに対するLCMの訓練は、有害な行動の継続、誤報の拡散、社会的偏見の増幅といったリスクを負う。
本稿では,これらのデータセットにまたがる不適切なコンテンツを大規模に分析し,有害なWebページをその意図に基づいてトピカル・トキシックに分類する包括的分類法を提案する。
論文 参考訳(メタデータ) (2025-05-04T06:37:20Z) - Persistent Pre-Training Poisoning of LLMs [71.53046642099142]
我々の研究は、事前学習中に言語モデルも妥協できるかどうかを初めて評価した。
我々は、有害な敵に対する影響を測定するために、スクラッチから一連のLSMを事前訓練する。
我々の主な結果は、モデルの事前トレーニングデータセットの0.1%しか中毒にならず、4つの攻撃のうち3つがポストトレーニングを通じて持続するのに十分であるということです。
論文 参考訳(メタデータ) (2024-10-17T16:27:13Z) - Data Poisoning and Leakage Analysis in Federated Learning [10.090442512374661]
データ中毒と漏洩のリスクは、現実世界におけるフェデレートされた学習の大規模展開を妨げる。
この章では、データプライバシー侵害のエミュレーションとデータ中毒のエミュレーションという2つの支配的脅威を理解するための真実と落とし穴を明らかにします。
論文 参考訳(メタデータ) (2024-09-19T16:50:29Z) - On the Exploitability of Instruction Tuning [103.8077787502381]
そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。
自動データ中毒パイプラインである textitAutoPoison を提案する。
結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
論文 参考訳(メタデータ) (2023-06-28T17:54:04Z) - Autoregressive Perturbations for Data Poisoning [54.205200221427994]
ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。
データ中毒攻撃は、スクラップ対策として提案されている。
より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
論文 参考訳(メタデータ) (2022-06-08T06:24:51Z) - Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。
我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
論文 参考訳(メタデータ) (2021-06-18T08:29:53Z) - Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。
感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
論文 参考訳(メタデータ) (2020-04-14T16:51:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。