論文の概要: PoisonForge: Task-Level Targeted Poisoning Benchmark for Instruction-Tuned LLMs

• arxiv url: http://arxiv.org/abs/2605.23168v1
• Date: Fri, 22 May 2026 02:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.165797
• Title: PoisonForge: Task-Level Targeted Poisoning Benchmark for Instruction-Tuned LLMs
• Title（参考訳）: PoisonForge: インストラクションチューニング LLM のためのタスクレベルターゲットポジショニングベンチマーク
• Authors: Luze Sun, Anshuman Suri, Harsh Chaudhari, Cristina Nita-Rotaru, Alina Oprea,
• Abstract要約: 敵はタスクレベルの中毒によってデータサプライチェーンを利用することができる。 この脅威を4次元に沿ってパラメータ化するベンチマークであるPoisonForgeを紹介します。 12モデル中11モデルは、最も脆弱な構成で70%の攻撃成功率を上回っている。
• 参考スコア（独自算出の注目度）: 15.209472456160013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When practitioners fine-tune LLMs on unvetted datasets, an adversary can exploit the data supply chain through task-level poisoning: inserting a small number of crafted instruction-response pairs that cause the model to embed attacker-specified entities, such as a country, in outputs for a targeted task family while behaving normally elsewhere. We introduce PoisonForge, a benchmark that parameterizes this threat along four dimensions (bias type, poisoning mode, appearance count, and target output length) and evaluates 12 open-weight models (from 2B to 32B parameters) across five families under a primarily 1% poison budget. With only 10 poisoned examples among 1,000 fine-tuning examples, 11 of 12 models exceed a 70% attack success rate (ASR) in their most vulnerable configuration. Meanwhile, unintended leakage to non-target tasks remains below 0.5%, and models perform well on standard benchmarks. We analyze in detail the factors contributing to attack success. We observe that multiple appearances of an entity increase the ASR, the optimal poisoning mode depends on the semantic structure of the target entity, and ASR drops monotonically with the task output length. A correlation analysis and risk prediction model confirm that poisoning design choices, rather than model scale, are the primary causes of attack success, and that these patterns generalize to predict attack success on new tasks. We release all configurations, pipelines, and analysis code to support reproducible comparisons.
• Abstract（参考訳）: 専門家が未調査のデータセットでLSMを微調整する場合、敵はタスクレベルの中毒を通じてデータサプライチェーンを利用することができる。 PoisonForgeは、この脅威を4次元(バイアスタイプ、中毒モード、外観数、目標出力長)に沿ってパラメータ化するベンチマークで、主に1%の毒予算で5つのファミリーで12のオープンウェイトモデル(2Bから32Bパラメータ)を評価する。 1000点の微調整例のうち、有毒な例は10点に過ぎず、最も脆弱な構成では12モデルのうち11点が70%の攻撃成功率(ASR)を超えた。 一方、意図しない非ターゲットタスクへのリークは0.5%以下であり、標準ベンチマークではモデルの性能が良好である。 我々は、攻撃の成功に寄与する要因を詳細に分析する。 複数の実体の出現がASRを増加させ、最適な中毒モードはターゲットエンティティのセマンティック構造に依存し、ASRはタスク出力長に単調に低下する。 相関分析とリスク予測モデルにより、モデルスケールではなく、有毒な設計選択が攻撃成功の主な原因であり、これらのパターンが新たなタスクにおける攻撃成功を予測するために一般化されることが確認された。 再現可能な比較をサポートするために、すべての構成、パイプライン、分析コードをリリースします。

関連論文リスト

• Thought-Transfer: Indirect Targeted Poisoning Attacks on Chain-of-Thought Reasoning Models [46.18909391478578]
  CoT(Chain-of-Thought)推論は,大規模言語モデルの能力向上のための強力なテクニックとして登場した。 我々の研究は、推論モデルにおける新しいタイプの間接的ターゲット・ポジショニング攻撃を公表した。
  論文  参考訳（メタデータ） (2026-01-27T00:46:24Z)
• Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples [81.67041843907371]
  この研究は、データセットのサイズに関わらず、毒殺攻撃がほぼ一定数のドキュメントを必要とすることを初めて実証した。 250の有毒なドキュメントも同様に、すべてのモデルとデータセットサイズにわたってモデルを妥協している。 以上の結果から,データ中毒によるバックドア注入は,従来考えられていたよりも大型モデルの方が容易である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-10-08T16:25:05Z)
• No Query, No Access [50.18709429731724]
  被害者のテキストのみを使用して動作する textbfVictim Data-based Adrial Attack (VDBA) を導入する。 被害者モデルへのアクセスを防止するため、公開されている事前トレーニングモデルとクラスタリングメソッドを備えたシャドウデータセットを作成します。 EmotionとSST5データセットの実験によると、VDBAは最先端の手法より優れており、ASRの改善は52.08%である。
  論文  参考訳（メタデータ） (2025-05-12T06:19:59Z)
• Detecting Instruction Fine-tuning Attacks on Language Models using Influence Function [6.778374627376906]
  命令の微調整攻撃は、大きな言語モデルに深刻な脅威をもたらす。 汚染されたデータは、クリーンなデータと区別できないことが多い。 本稿では,攻撃の事前知識を必要としない検出手法を提案する。
  論文  参考訳（メタデータ） (2025-04-12T00:50:28Z)
• An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。 私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• IDEA: Invariant Defense for Graph Adversarial Robustness [60.0126873387533]
  敵攻撃に対する不変因果判定法(IDEA)を提案する。 我々は,情報理論の観点から,ノードと構造に基づく分散目標を導出する。 実験によると、IDEAは5つのデータセットすべてに対する5つの攻撃に対して、最先端の防御性能を達成している。
  論文  参考訳（メタデータ） (2023-05-25T07:16:00Z)
• Model-Targeted Poisoning Attacks with Provable Convergence [19.196295769662186]
  中毒攻撃では、トレーニングデータのごく一部を制御している敵が、破損したモデルを誘導する方法で、そのデータを選択しようとする。 我々は,凸機械学習モデルに対する中毒攻撃について検討し,特定のモデルを誘導する効率的な中毒攻撃を提案する。
  論文  参考訳（メタデータ） (2020-06-30T01:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。