論文の概要: Addressing The Devastating Effects Of Single-Task Data Poisoning In Exemplar-Free Continual Learning

• arxiv url: http://arxiv.org/abs/2507.04106v1
• Date: Sat, 05 Jul 2025 17:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.018335
• Title: Addressing The Devastating Effects Of Single-Task Data Poisoning In Exemplar-Free Continual Learning
• Title（参考訳）: 連続学習における単一タスクデータポジショニングの破壊的影響への対処
• Authors: Stanisław Pawlak, Bartłomiej Twardowski, Tomasz Trzciński, Joost van de Weijer,
• Abstract要約: 連続学習(CL)におけるデータ中毒に関する見過ごされたセキュリティ上の懸念に対処する研究 データ中毒は最近、CLトレーニングの安定性に対する脅威であることが示されている。 以前提案された毒殺設定とは対照的に、敵はモデルへの知識やアクセスを欠いている。
• 参考スコア（独自算出の注目度）: 11.525308323843852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our research addresses the overlooked security concerns related to data poisoning in continual learning (CL). Data poisoning - the intentional manipulation of training data to affect the predictions of machine learning models - was recently shown to be a threat to CL training stability. While existing literature predominantly addresses scenario-dependent attacks, we propose to focus on a more simple and realistic single-task poison (STP) threats. In contrast to previously proposed poisoning settings, in STP adversaries lack knowledge and access to the model, as well as to both previous and future tasks. During an attack, they only have access to the current task within the data stream. Our study demonstrates that even within these stringent conditions, adversaries can compromise model performance using standard image corruptions. We show that STP attacks are able to strongly disrupt the whole continual training process: decreasing both the stability (its performance on past tasks) and plasticity (capacity to adapt to new tasks) of the algorithm. Finally, we propose a high-level defense framework for CL along with a poison task detection method based on task vectors. The code is available at https://github.com/stapaw/STP.git .
• Abstract（参考訳）: 本研究は,連続学習(CL)におけるデータ中毒に関する,見落とされがちなセキュリティ問題に対処する。 データ中毒 — 機械学習モデルの予測に影響を与えるトレーニングデータの意図的な操作 — は、最近、CLトレーニングの安定性に対する脅威であることが示されている。 既存の文献は主にシナリオに依存した攻撃に対処するが、我々はよりシンプルで現実的な単一タスク中毒(STP)の脅威に焦点を当てることを提案する。 以前提案された毒殺設定とは対照的に、STPの敵は、以前のタスクと将来のタスクの両方と同様に、モデルへの知識とアクセスを欠いている。 攻撃中は、データストリーム内の現在のタスクにのみアクセスすることができる。 本研究は, 厳密な条件下であっても, 標準的な画像の破損を利用して, モデル性能を損なうことができることを示した。 STP攻撃は、アルゴリズムの安定性(過去のタスクのパフォーマンス)と可塑性(新しいタスクに適応する能力)の両方を減少させるという、連続的なトレーニングプロセス全体を強力に破壊することができることを示す。 最後に,CLの高レベル防衛フレームワークと,タスクベクトルに基づく有害タスク検出手法を提案する。 コードはhttps://github.com/stapaw/STP.gitで公開されている。

関連論文リスト

• Keeping up with dynamic attackers: Certifying robustness to adaptive online data poisoning [20.44830200702146]
  人間のフィードバックを微調整した基礎モデルの台頭は、敵対的なデータ中毒のリスクを高めている。 本稿では, 動的中毒の影響について, 認定境界を計算するための新しい枠組みを提案する。 これらの証明書を使って、堅牢な学習アルゴリズムを設計します。
  論文  参考訳（メタデータ） (2025-02-23T22:40:56Z)
• Persistent Pre-Training Poisoning of LLMs [71.53046642099142]
  我々の研究は、事前学習中に言語モデルも妥協できるかどうかを初めて評価した。 我々は、有害な敵に対する影響を測定するために、スクラッチから一連のLSMを事前訓練する。 我々の主な結果は、モデルの事前トレーニングデータセットの0.1%しか中毒にならず、4つの攻撃のうち3つがポストトレーニングを通じて持続するのに十分であるということです。
  論文  参考訳（メタデータ） (2024-10-17T16:27:13Z)
• Indiscriminate Data Poisoning Attacks on Pre-trained Feature Extractors [26.36344184385407]
  本稿では,事前訓練した特徴抽出器を応用した下流タスクに対する無差別攻撃の脅威について検討する。 入力空間攻撃とは,(1)既存の攻撃を修正して入力空間に有毒なデータを作る攻撃と,(2)学習した特徴表現をデータセットとして扱うことで有毒な特徴を見つける攻撃である。 実験では、同じデータセット上の微調整やドメイン適応を考慮した転帰学習など、下流の一般的なタスクにおける攻撃について検討した。
  論文  参考訳（メタデータ） (2024-02-20T01:12:59Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• PACOL: Poisoning Attacks Against Continual Learners [1.569413950416037]
  本研究では,悪意ある誤報によって連続学習システムを操作できることを実証する。 本稿では,連続学習者を対象としたデータ中毒攻撃の新たなカテゴリについて紹介する。 総合的な実験のセットは、一般的に使われている生成的リプレイと正規化に基づく攻撃方法に対する継続的な学習アプローチの脆弱性を示している。
  論文  参考訳（メタデータ） (2023-11-18T00:20:57Z)
• Data Poisoning Attack Aiming the Vulnerability of Continual Learning [25.480762565632332]
  本稿では,新しいタスクの学習プロセスで使用できる,単純なタスク固有のデータ中毒攻撃について述べる。 2つの代表的な正規化に基づく連続学習手法に対する攻撃実験を行った。
  論文  参考訳（メタデータ） (2022-11-29T02:28:05Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。