論文の概要: Amnesia: A Stealthy Replay Attack on Continual Learning Dreams
- arxiv url: http://arxiv.org/abs/2606.12655v1
- Date: Wed, 10 Jun 2026 20:27:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.447994
- Title: Amnesia: A Stealthy Replay Attack on Continual Learning Dreams
- Title(参考訳): Amnesia:継続的な学習の夢をリプレイするステルスなアタック
- Authors: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani,
- Abstract要約: 既存のCL攻撃では入力やトレーニングパイプライン(ポジティング/バックドア)が変更され、明示的な監査可能な制約がほとんど含まれず、リアリズムが制限される。
2つの予算で劣化を最大化する再生合成攻撃であるアムネシアを導入する。
挑戦的なCLベンチマークと強力なリプレイベースラインを越えて、アムネシアは一貫して最終精度(ACC)を保ち、下位転送(-BWT)を悪化させる。
- 参考スコア(独自算出の注目度): 39.83783914171527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL) models often use experience replay to reduce catastrophic forgetting, but their robustness to replay sampling interference remains underexplored. Existing CL attacks alter inputs or training pipelines (poisoning/backdoors) and rarely include explicit auditable constraints, limiting realism. Here, auditability means a monitor can verify compliance from sampler-visible telemetry - e.g., logged replay index/label statistics - by checking that the realized replay class histogram stays close to a nominal baseline and that replay rate is unchanged per batch and/or over a rolling window. We study a limited-privilege insider who controls only replay index selection, not pixels, labels, or model parameters, while staying within auditable limits such as queue priorities. We introduce Amnesia, a replay composition attack that maximizes degradation under two budgets: a visibility budget delta bounding the TV/KL divergence from a nominal class histogram p0, and a mass budget f fixing the replay rate. Amnesia has two steps: (i) compute lightweight class utilities, such as EMA loss or confidence, to tilt p0 toward harmful classes; and (ii) project the tilt back into the delta-ball using efficient KL (exponential tilt) or TV (balanced mass redistribution) optimizers. A windowed scheduler enforces rolling audits. Across challenging CL benchmarks and strong replay baselines, Amnesia consistently lowers final accuracy (ACC) and worsens backward transfer (-BWT). The KL variant delivers high impact while remaining largely undetected under multiple audit schemes, including per-batch and rolling-window checks. The TV variant is more damaging but easier to detect, especially under tight per-class constraints. These results expose index-only replay control as a practical, auditable threat surface in CL systems and establish a principled impact-visibility trade-off.
- Abstract(参考訳): 連続学習(CL)モデルは、しばしば破滅的な忘れ込みを減らすために経験的リプレイを使用するが、サンプリング干渉を再現する堅牢性は未解明のままである。
既存のCL攻撃では入力やトレーニングパイプライン(ポジティング/バックドア)が変更され、明示的な監査可能な制約がほとんど含まれず、リアリズムが制限される。
ここで監査性は、モニタがサンプル可視のテレメトリ(例えば、ログ化されたリプレイインデックス/ラベル統計)からのコンプライアンスを検証できることを意味しており、実現されたリプレイクラスのヒストグラムが名目上のベースラインに近く、リプレイレートがバッチ当たりまたはローリングウィンドウ上で変更されないことをチェックする。
我々は、キューの優先順位などの監査可能な制限内に留まりながら、ピクセル、ラベル、モデルパラメータではなく、リプレイインデックスの選択のみを制御する限定特権インサイダーについて検討する。
本稿では,2つの予算で劣化を最大化する再生合成攻撃であるアムネシアについて紹介する。
アムネシアには2つのステップがある。
一 有害なクラスにp0を傾けるため、EMA損失又は信頼などの軽量クラスのユーティリティを計算すること。
(II)効率的なKL(指数傾き)またはTV(平衡質量再分配)オプティマイザを用いてデルタボールに傾きを投影する。
ウィンドウスケジューラがローリング監査を実行します。
挑戦的なCLベンチマークと強力なリプレイベースラインを越えて、アムネシアは最終精度(ACC)を一貫して低下させ、下位転送(-BWT)を悪化させる。
KLの派生型は、バッチごとのチェックやローリングウインドウチェックなど、複数の監査スキームの下でほとんど検出されていないまま、高い影響をもたらす。
テレビのバリエーションはより損傷を受けやすいが、特にクラスごとの厳しい制約下では検出が容易だ。
これらの結果は、CLシステムにおいて、実用的な、監査可能な脅威表面としてインデックスのみのリプレイ制御を公開し、原則的なインパクト・可視トレードオフを確立する。
関連論文リスト
- Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。
本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
論文 参考訳(メタデータ) (2026-05-01T13:45:16Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳(メタデータ) (2026-04-14T18:19:54Z) - Direct Discrepancy Replay: Distribution-Discrepancy Condensation and Manifold-Consistent Replay for Continual Face Forgery Detection [23.384166700988658]
連続的な顔偽造検出では、検出器は、これまで見られた操作を忘れずに、新しい偽造パラダイムを学習する必要がある。
既存のCFFDメソッドは、忘れを緩和するために、少量の過去のデータをリプレイすることに依存している。
CFFDにおけるリプレイの中核的な役割は、その後のトレーニングにおいて、過去の偽タスクの分布を再保存することである、と我々は主張する。
論文 参考訳(メタデータ) (2026-04-14T16:35:04Z) - FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。
このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
論文 参考訳(メタデータ) (2026-01-07T13:55:14Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。
しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。