論文の概要: PoTS: Proof-of-Training-Steps for Backdoor Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.15106v1
• Date: Thu, 16 Oct 2025 19:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.373577
• Title: PoTS: Proof-of-Training-Steps for Backdoor Detection in Large Language Models
• Title（参考訳）: PoTS:大規模言語モデルにおけるバックドア検出のためのトレーニングステップの提案
• Authors: Issam Seddik, Sami Souihi, Mohamed Tamaazousti, Sara Tucci Piergiovanni,
• Abstract要約: 大規模言語モデル(LLM)の検証プロトコルであるProof-of-Training Stepsを紹介する。 LLMの言語モデリングヘッド(LM-Head)の入力摂動に対する感度を解析することにより、トレーニングにおける微妙なバックドア注入や偏差を明らかにすることができる。 本手法は, インジェクションステップにおける攻撃の早期検出を可能にし, 検証ステップはトレーニングステップよりも3倍高速である。
• 参考スコア（独自算出の注目度）: 6.18527094818381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) gain traction across critical domains, ensuring secure and trustworthy training processes has become a major concern. Backdoor attacks, where malicious actors inject hidden triggers into training data, are particularly insidious and difficult to detect. Existing post-training verification solutions like Proof-of-Learning are impractical for LLMs due to their requirement for full retraining, lack of robustness against stealthy manipulations, and inability to provide early detection during training. Early detection would significantly reduce computational costs. To address these limitations, we introduce Proof-of-Training Steps, a verification protocol that enables an independent auditor (Alice) to confirm that an LLM developer (Bob) has followed the declared training recipe, including data batches, architecture, and hyperparameters. By analyzing the sensitivity of the LLMs' language modeling head (LM-Head) to input perturbations, our method can expose subtle backdoor injections or deviations in training. Even with backdoor triggers in up to 10 percent of the training data, our protocol significantly reduces the attacker's ability to achieve a high attack success rate (ASR). Our method enables early detection of attacks at the injection step, with verification steps being 3x faster than training steps. Our results highlight the protocol's potential to enhance the accountability and security of LLM development, especially against insider threats.
• Abstract（参考訳）: 大規模言語モデル(LLM)が重要なドメインにまたがって勢いを増すにつれ、セキュアで信頼性の高いトレーニングプロセスの確保が大きな関心事となっている。 悪意のあるアクターがトレーニングデータに隠れたトリガーを注入するバックドア攻撃は、特に恐ろしく、検出が難しい。 Proof-of-Learningのような既存のトレーニング後の検証ソリューションは、完全なリトレーニングの必要性、ステルス操作に対する堅牢性の欠如、トレーニング中に早期検出を提供することができないため、LLMにとって実用的ではない。 早期検出は計算コストを大幅に削減する。 これらの制限に対処するため,独立した監査者(Alice)が,データバッチやアーキテクチャ,ハイパーパラメータなど,宣言されたトレーニングレシピに従うことを確認可能な検証プロトコルであるProof-of-Training Stepsを導入する。 LLMの言語モデリングヘッド(LM-Head)の入力摂動に対する感度を解析することにより、トレーニングにおける微妙なバックドア注入や偏差を明らかにすることができる。 トレーニングデータの最大10%をバックドアでトリガーしても、我々のプロトコルは攻撃者が高い攻撃成功率(ASR)を達成する能力を著しく低下させる。 本手法は, インジェクションステップにおける攻撃の早期検出を可能にし, 検証ステップはトレーニングステップよりも3倍高速である。 本研究は,LSM開発における説明責任とセキュリティ,特にインサイダーの脅威に対するプロトコルの可能性を明らかにするものである。

関連論文リスト

• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Simulate and Eliminate: Revoke Backdoors for Generative Large Language Models [42.19147076519423]
  生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。 悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。 生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
  論文  参考訳（メタデータ） (2024-05-13T11:53:42Z)
• Learning to Poison Large Language Models for Downstream Manipulation [12.521338629194503]
  この研究は、教師付き微調整プロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。