論文の概要: Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning

• arxiv url: http://arxiv.org/abs/2606.26036v1
• Date: Wed, 24 Jun 2026 17:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.400282
• Title: Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
• Title（参考訳）: Detect, Unlearn, Restore: データ中毒に対するテキスト要約モデルを守る
• Abstract要約: 訓練時のデータ中毒は、抽象的なテキスト要約のためにデプロイされた大きな言語モデルに重大な脅威をもたらす。 本報告では, 要約モデルにおいて, 微調整段階の毒を検知し, 即時処理するための統合されたポストホック防御フレームワークを提案する。 以上の結果から, 微調整時中毒は持続的な構造的遺物を残し, 完全再トレーニングを行なわずに, 実用的検出および再デプロイ後の回復を可能にすることが示唆された。
• 参考スコア（独自算出の注目度）: 2.9148458734058913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training-time data poisoning during fine-tuning poses a significant threat to large language models (LLMs) deployed for abstractive text summarization, where small task-specific datasets exert disproportionate influence on model behavior. In this setting, adversaries manipulate fine-tuning data to induce persistent summarization failures, such as biased or harmful summaries, while preserving standard evaluation metrics. We present a unified post-hoc defense framework for detecting and remediating fine-tuning-stage poisoning in summarization models across the machine learning supply chain. Our experiments show that in white-box settings, poisoned document-summary pairs exhibit abnormally high training influence, enabling detection via influence-function analysis with semantic consistency checks. In black-box settings, poisoned models display two to three times greater sensitivity to semantics-preserving perturbations, enabling behavioral auditing without training data access. Beyond existing poisoning formulations, we introduce novel attacks targeting factual distortion and representational bias, showing that poisoning alters summarization behavior without triggering conventional alarms. Across nine architectures and six benchmark datasets under adaptive attacks, our defenses achieve 85-92% detection precision, while gradient-ascent unlearning restores up to 96% of original behavior with minimal utility loss (less than 0.6% ROUGE degradation). These results indicate that fine-tuning-time poisoning leaves persistent structural artifacts, enabling practical detection and post-deployment recovery without full retraining.
• Abstract（参考訳）: 微調整中のトレーニング時のデータ中毒は、抽象的なテキスト要約のために展開される大規模言語モデル(LLM)に対して重大な脅威となる。 この設定では、敵は、標準的な評価指標を維持しながら、微調整データを操作して、バイアスや有害な要約などの永続的な要約失敗を誘発する。 本稿では,機械学習サプライチェーン全体にわたる要約モデルにおいて,微調整段階の毒を検出および処理するための統合されたポストホック防御フレームワークを提案する。 実験の結果,有毒な文書-要約ペアは,ホワイトボックス設定で異常に高い訓練効果を示し,意味的整合性チェックを用いた影響関数分析による検出が可能であった。 ブラックボックス設定では、有毒なモデルはセマンティックス保存の摂動に対して2倍から3倍の感度を示し、データアクセスをトレーニングせずに行動監査を可能にする。 既存の中毒の定式化以外にも、事実の歪みや表現バイアスを標的とした新たな攻撃を導入し、中毒は従来のアラームを発生させることなく、要約行動を変化させることを示した。 9つのアーキテクチャと6つのベンチマークデータセットをアダプティブアタックで処理し、85～92%の精度で防御を行いました。 これらの結果から, 微調整時中毒は持続的な構造的遺物を残し, 完全再トレーニングを伴わずに, 実用的検出および再デプロイ後の回復を可能にすることが示唆された。

関連論文リスト

• Associative Poisoning to Generative Machine Learning [5.094623170336122]
  我々は連想中毒と呼ばれる新しいデータ中毒技術を紹介した。 トレーニングプロセスの制御を必要とせずに、生成されたデータのきめ細かい特徴を損なう。 この攻撃は、生成された出力中の特定の特徴ペア間の統計的関連を操作するためのトレーニングデータのみを摂動する。
  論文  参考訳（メタデータ） (2025-11-07T11:47:33Z)
• Detecting Instruction Fine-tuning Attacks on Language Models using Influence Function [6.778374627376906]
  命令の微調整攻撃は、大きな言語モデルに深刻な脅威をもたらす。 汚染されたデータは、クリーンなデータと区別できないことが多い。 本稿では,攻撃の事前知識を必要としない検出手法を提案する。
  論文  参考訳（メタデータ） (2025-04-12T00:50:28Z)
• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• DataElixir: Purifying Poisoned Dataset to Mitigate Backdoor Attacks via Diffusion Models [12.42597979026873]
  汚染されたデータセットを浄化するための新しい衛生手法であるDataElixirを提案する。 我々は拡散モデルを利用してトリガーの特徴を排除し、良性の特徴を復元し、毒を盛ったサンプルを良性のものに変える。 9つの人気のある攻撃で実施された実験は、DataElixirが様々な複雑な攻撃を効果的に軽減し、良識の正確さに最小限の影響を与えることを示した。
  論文  参考訳（メタデータ） (2023-12-18T09:40:38Z)
• On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
  悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。 データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。 ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
  論文  参考訳（メタデータ） (2023-06-28T17:59:35Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Exploring the Limits of Model-Targeted Indiscriminate Data Poisoning Attacks [31.339252233416477]
  対象パラメータに対するデータ中毒攻撃の本質的な限界を探索するための技術ツールとして,モデル中毒の到達可能性の概念を紹介した。 我々は、一般的なMLモデルの中で驚くべき位相遷移現象を確立し、定量化するために、容易に計算可能なしきい値を得る。 我々の研究は, 有毒比がもたらす重要な役割を強調し, データ中毒における既存の経験的結果, 攻撃, 緩和戦略に関する新たな知見を隠蔽する。
  論文  参考訳（メタデータ） (2023-03-07T01:55:26Z)
• Temporal Robustness against Data Poisoning [69.01705108817785]
  データ中毒は、悪意のあるトレーニングデータを通じて、敵対者が機械学習アルゴリズムの振る舞いを操作する場合を考慮している。 本研究では,攻撃開始時間と攻撃持続時間を測定する2つの新しい指標である耳線と持続時間を用いたデータ中毒の時間的脅威モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:59:19Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。