論文の概要: DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors

• arxiv url: http://arxiv.org/abs/2505.23001v3
• Date: Wed, 04 Jun 2025 02:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.463189
• Title: DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors
• Title（参考訳）: DyePack: バックドアを使用したLDMにおけるテストセット汚染の防止
• Authors: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi,
• Abstract要約: トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
• 参考スコア（独自算出の注目度）: 52.52021579531363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open benchmarks are essential for evaluating and advancing large language models, offering reproducibility and transparency. However, their accessibility makes them likely targets of test set contamination. In this work, we introduce DyePack, a framework that leverages backdoor attacks to identify models that used benchmark test sets during training, without requiring access to the loss, logits, or any internal details of the model. Like how banks mix dye packs with their money to mark robbers, DyePack mixes backdoor samples with the test data to flag models that trained on it. We propose a principled design incorporating multiple backdoors with stochastic targets, enabling exact false positive rate (FPR) computation when flagging every model. This provably prevents false accusations while providing strong evidence for every detected case of contamination. We evaluate DyePack on five models across three datasets, covering both multiple-choice and open-ended generation tasks. For multiple-choice questions, it successfully detects all contaminated models with guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard using eight backdoors. For open-ended generation tasks, it generalizes well and identifies all contaminated models on Alpaca with a guaranteed false positive rate of just 0.127% using six backdoors.
• Abstract（参考訳）: オープンベンチマークは、再現性と透明性を提供する大規模な言語モデルの評価と進化に不可欠である。 しかし、それらのアクセシビリティは、おそらくテストセットの汚染の標的となる。 本研究では、バックドア攻撃を利用してトレーニング中にベンチマークテストセットを使用したモデルを特定するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 本稿では,複数のバックドアを確率的目標に組み込んだ基本設計を提案する。 これにより、検出された全ての汚染事例に対して強い証拠を提供しながら、偽の告発を確実に防止することができる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。 複数の質問に対して、MMLU-Proでは0.000073%、Big-Bench-Hardでは0.000017%という保証されたFPRを持つ全ての汚染されたモデルを8つのバックドアで検出することに成功した。 オープンエンド生成タスクは、よく一般化され、6つのバックドアを使用してわずか0.127%の偽陽性率で、アルパカで汚染された全てのモデルを特定する。

関連論文リスト

• Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
  バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。 このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。 この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
  論文  参考訳（メタデータ） (2024-02-28T21:29:16Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• Mask and Restore: Blind Backdoor Defense at Test Time with Masked Autoencoder [57.739693628523]
  Masked AutoEncoder (BDMAE) を用いたブラインドバックドア防御のためのフレームワークを提案する。 BDMAEは、画像構造的類似性とテスト画像とMAE復元の間のラベル整合性を用いて、トークン空間で可能なトリガを検出する。 私たちのアプローチは、モデル復元、パターンのトリガー、画像の良心に盲目です。
  論文  参考訳（メタデータ） (2023-03-27T19:23:33Z)
• Detecting Backdoors During the Inference Stage Based on Corruption Robustness Consistency [33.42013309686333]
  本稿では,被害者モデルのハードラベル出力のみを必要とする試験時間トリガーサンプル検出法を提案する。 私たちの旅は、バックドアに感染したモデルが、クリーンな画像に対して異なる画像の破損に対して同様のパフォーマンスを持つのに、トリガーサンプルに対して不一致に実行するという興味深い観察から始まります。 大規模な実験では、最先端のディフェンスと比較すると、TeCoは異なるバックドア攻撃、データセット、モデルアーキテクチャにおいて、それらよりも優れています。
  論文  参考訳（メタデータ） (2023-03-27T07:10:37Z)
• Kallima: A Clean-label Framework for Textual Backdoor Attacks [25.332731545200808]
  マイメシススタイルのバックドアサンプルを合成するための,最初のクリーンラベルフレームワークKallimaを提案する。 我々は,対象クラスに属する入力を逆方向の摂動で修正し,モデルがバックドアトリガに依存するようにした。
  論文  参考訳（メタデータ） (2022-06-03T21:44:43Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
  フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。 BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
  論文  参考訳（メタデータ） (2020-11-04T07:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。