論文の概要: Theory of Continual Learning Against Data Poisoning Attacks
- arxiv url: http://arxiv.org/abs/2606.29841v1
- Date: Mon, 29 Jun 2026 06:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.08174
- Title: Theory of Continual Learning Against Data Poisoning Attacks
- Title(参考訳): データ中毒攻撃に対する継続的な学習の理論
- Abstract要約: 我々は、正規化に基づくCLにおける戦略攻撃と防衛を解析するための理論的枠組みを開発する。
本研究では,データ中毒を検知し,学習収束のための累積バイアスを低減するタスク・ツー・タスク検証機構を提案する。
- 参考スコア(独自算出の注目度): 24.02205412427037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL), where a model is trained on a sequence of data tasks, is increasingly being adopted across key fields such as large language models and image recognition, yet it remains highly vulnerable to data poisoning that triggers learning divergence or severe excess risk. Despite these threats, a principled theoretical foundation in CL for understanding attack and defense remains lacking. In this paper, we develop a theoretical framework to analyze strategic attacks and defenses in regularization-based CL, a cornerstone of recent CL theory. By framing the adversary-defender interaction as an online zero-sum game, we first establish a fundamental performance limit: no defense succeeds when an adversary poisons a linear proportion of tasks by injecting unbounded noise or pattern shifts in regularization-based CL. We then analyze two possibly defensible scenarios: infrequent attacks and bounded noise per attack. For the former regime, we propose a task-to-task verification mechanism to detect data poisoning and reduce cumulative bias for learning convergence. For the latter regime, we derive a robust defense that minimizes the model's sensitivity to poisoned features, provably accelerating the convergence rate. Extensive experiments on realistic tasks further validate our theoretical results.
- Abstract(参考訳): モデルが一連のデータタスクでトレーニングされる連続学習(CL)は、大規模言語モデルや画像認識といった重要な分野にまたがって採用されつつあるが、学習の分岐や過度なリスクを引き起こすデータ中毒に対して、依然として非常に脆弱である。
これらの脅威にもかかわらず、攻撃と防衛を理解するためのCLの原理的な理論基盤は依然として欠落している。
本稿では,最近のCL理論の基礎となる正規化に基づくCLにおける戦略攻撃と防御を解析するための理論的枠組みを開発する。
オンラインゼロサムゲームとして敵-敵の相互作用をフレーミングすることにより、まず基本性能限界を確立する: 正規化ベースのCLにおいて、非有界雑音やパターンシフトを注入することにより、敵がタスクの線形比を毒すると防御は成功しない。
次に、攻撃頻度の低い攻撃と攻撃毎の有界ノイズという、防御可能な2つのシナリオを分析します。
従来の体制では,データ中毒を検知し,学習収束の累積バイアスを低減するタスク・ツー・タスク・検証機構を提案する。
後者の体制では、モデルが有毒な特徴に敏感であることを最小限に抑え、収束速度を確実に加速する頑健な防御法を導出する。
現実的なタスクに関する大規模な実験は、我々の理論結果をさらに検証する。
関連論文リスト
- CSC: Turning the Adversary's Poison against Itself [23.878184947897765]
中毒ベースのバックドア攻撃は、ディープニューラルネットワークに重大な脅威をもたらす。
本稿では,モデルトレーニング中のバックドア攻撃ダイナミクスの包括的解析を行う。
新規な防毒対策としてクラスター分離封止法(CSC)を提案する。
論文 参考訳(メタデータ) (2026-04-23T08:30:53Z) - The Eminence in Shadow: Exploiting Feature Boundary Ambiguity for Robust Backdoor Attacks [51.468144272905135]
深層ニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱なままでも重要なアプリケーションを支える。
バックドア攻撃を標的とした理論的解析を行い,不均質なモデル操作を実現するための疎い決定境界に着目した。
エミネンス(Eminence)は、理論的な保証と固有なステルス特性を持つ、説明可能で堅牢なブラックボックスバックドアフレームワークである。
論文 参考訳(メタデータ) (2025-12-11T08:09:07Z) - Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data [39.07360350023601]
本稿では,現実シナリオにおけるバックドア攻撃対策の課題について述べる。
本稿では,モデルトレーナーが有毒なデータセット上でクリーンなモデルをトレーニングできるようにする,堅牢でクリーンなデータのないバックドア防御フレームワークであるMellivora Capensis(textttMeCa)を提案する。
論文 参考訳(メタデータ) (2024-05-21T12:20:19Z) - FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳(メタデータ) (2023-12-07T16:56:24Z) - On Practical Aspects of Aggregation Defenses against Data Poisoning
Attacks [58.718697580177356]
悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。
データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。
ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
論文 参考訳(メタデータ) (2023-06-28T17:59:35Z) - Data Poisoning Attack Aiming the Vulnerability of Continual Learning [25.480762565632332]
本稿では,新しいタスクの学習プロセスで使用できる,単純なタスク固有のデータ中毒攻撃について述べる。
2つの代表的な正規化に基づく連続学習手法に対する攻撃実験を行った。
論文 参考訳(メタデータ) (2022-11-29T02:28:05Z) - SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with
Sparsification [24.053704318868043]
モデル中毒攻撃では、攻撃者は"poisoned"アップデートをアップロードすることで、ターゲットのサブタスクのパフォーマンスを低下させる。
本稿では,グローバルなトップk更新スペーシフィケーションとデバイスレベルのクリッピング勾配を利用して,モデル中毒攻撃を緩和する新しいディフェンスであるalgonameを紹介する。
論文 参考訳(メタデータ) (2021-12-12T16:34:52Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳(メタデータ) (2021-06-21T21:42:08Z) - Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。
敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。
実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文 参考訳(メタデータ) (2021-05-18T17:48:15Z) - Provable Defense Against Delusive Poisoning [64.69220849669948]
本研究は, 対人訓練が妄想性中毒に対する防御法であることを示す。
これは、敵の訓練が妄想的中毒に対する原則的な防御方法であることを意味している。
論文 参考訳(メタデータ) (2021-02-09T09:19:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。