Fugu-MT 論文翻訳(概要): Dark Distillation: Backdooring Distilled Datasets without Accessing Raw Data

論文の概要: Dark Distillation: Backdooring Distilled Datasets without Accessing Raw Data

arxiv url: http://arxiv.org/abs/2502.04229v1
Date: Thu, 06 Feb 2025 17:14:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-07 14:33:13.369458
Title: Dark Distillation: Backdooring Distilled Datasets without Accessing Raw Data
Title（参考訳）: 暗黒蒸留:生データにアクセスせずに蒸留データセットのバックドア化
Authors: Ziyuan Yang, Ming Yan, Yi Zhang, Joey Tianyi Zhou,
Abstract要約: 攻撃者はデータセットの配布プロセスをインターセプトし、蒸留したデータセットにバックドアを注入し、ユーザーに再配布することができる。蒸留されたデータセットは、以前はバックドア攻撃に耐性があると考えられていたが、そのような攻撃には弱いままであることを示す。攻撃方法は効率が良く,特定のケースでは1分以内で悪意ある蒸留データセットを作成できる。
参考スコア（独自算出の注目度）: 48.69361050757504
License:
Abstract: Dataset distillation (DD) enhances training efficiency and reduces bandwidth by condensing large datasets into smaller synthetic ones. It enables models to achieve performance comparable to those trained on the raw full dataset and has become a widely adopted method for data sharing. However, security concerns in DD remain underexplored. Existing studies typically assume that malicious behavior originates from dataset owners during the initial distillation process, where backdoors are injected into raw datasets. In contrast, this work is the first to address a more realistic and concerning threat: attackers may intercept the dataset distribution process, inject backdoors into the distilled datasets, and redistribute them to users. While distilled datasets were previously considered resistant to backdoor attacks, we demonstrate that they remain vulnerable to such attacks. Furthermore, we show that attackers do not even require access to any raw data to inject the backdoors successfully. Specifically, our approach reconstructs conceptual archetypes for each class from the model trained on the distilled dataset. Backdoors are then injected into these archetypes to update the distilled dataset. Moreover, we ensure the updated dataset not only retains the backdoor but also preserves the original optimization trajectory, thus maintaining the knowledge of the raw dataset. To achieve this, a hybrid loss is designed to integrate backdoor information along the benign optimization trajectory, ensuring that previously learned information is not forgotten. Extensive experiments demonstrate that distilled datasets are highly vulnerable to backdoor attacks, with risks pervasive across various raw datasets, distillation methods, and downstream training strategies. Moreover, our attack method is efficient, capable of synthesizing a malicious distilled dataset in under one minute in certain cases.
Abstract（参考訳）: データセット蒸留(DD)は、トレーニング効率を高め、大規模なデータセットをより小さな合成データセットに凝縮することで帯域幅を削減する。これにより、モデルが生のフルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成することができ、データ共有の広く採用されている方法となった。しかし、DDのセキュリティ上の懸念は未解決のままである。既存の研究では、バックドアが生のデータセットに注入される最初の蒸留プロセスにおいて、悪意のある振る舞いはデータセット所有者から生じると推定されている。攻撃者はデータセットの配布プロセスをインターセプトし、蒸留したデータセットにバックドアを注入し、ユーザーに再配布することができる。蒸留されたデータセットは、以前はバックドア攻撃に耐性があると考えられていたが、そのような攻撃には弱いままであることを示す。さらに,攻撃者はバックドアを正常に注入するために,生データへのアクセスさえ必要としないことを示す。具体的には,蒸留データセットに基づいて学習したモデルから,各クラスの概念的アーキタイプを再構築する。バックドアはこれらのアーチタイプに注入され、蒸留されたデータセットを更新する。さらに、更新されたデータセットがバックドアを保持するだけでなく、元の最適化軌道も保持し、生データセットの知識を維持する。これを実現するために、ハイブリッド損失は、良質な最適化軌道に沿ってバックドア情報を統合するように設計され、以前に学習した情報が忘れられないようにする。大規模な実験では、蒸留データセットはバックドアアタックに対して非常に脆弱であり、さまざまな生データセット、蒸留方法、下流トレーニング戦略にまたがるリスクがあることが示された。さらに,本手法は有効であり,特定のケースでは1分以内で有害な蒸留データセットを合成することができる。

論文の概要: Dark Distillation: Backdooring Distilled Datasets without Accessing Raw Data

関連論文リスト