論文の概要: Trojan Detection Through Pattern Recognition for Large Language Models

• arxiv url: http://arxiv.org/abs/2501.11621v1
• Date: Mon, 20 Jan 2025 17:36:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:19.202122
• Title: Trojan Detection Through Pattern Recognition for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのパターン認識によるトロイの木馬検出
• Authors: Vedant Bhasin, Matthew Yudin, Razvan Stefanescu, Rauf Izmailov,
• Abstract要約: トロイアのバックドアは様々な段階で大きな言語モデルに注入できる。 大規模言語モデルにおけるトロイの木馬トリガー検出のための多段階フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.8571111167616167
• License:
• Abstract: Trojan backdoors can be injected into large language models at various stages, including pretraining, fine-tuning, and in-context learning, posing a significant threat to the model's alignment. Due to the nature of causal language modeling, detecting these triggers is challenging given the vast search space. In this study, we propose a multistage framework for detecting Trojan triggers in large language models consisting of token filtration, trigger identification, and trigger verification. We discuss existing trigger identification methods and propose two variants of a black-box trigger inversion method that rely on output logits, utilizing beam search and greedy decoding respectively. We show that the verification stage is critical in the process and propose semantic-preserving prompts and special perturbations to differentiate between actual Trojan triggers and other adversarial strings that display similar characteristics. The evaluation of our approach on the TrojAI and RLHF poisoned model datasets demonstrates promising results.
• Abstract（参考訳）: トロイの木馬のバックドアは、事前訓練、微調整、文脈内学習など様々な段階で大きな言語モデルに注入することができ、モデルのアライメントに重大な脅威をもたらす。 因果的言語モデリングの性質から,これらのトリガーの検出は膨大な検索空間を考えると困難である。 本研究では,トークンフィルタリング,トリガー識別,トリガー検証からなる大規模言語モデルにおいて,トロイの木馬のトリガーを検出するための多段階フレームワークを提案する。 既存のトリガ識別手法について議論し,出力ロジットに依存するブラックボックストリガインバージョン法を2種類提案する。 検証段階はプロセスにおいて重要であることを示し、実際のトロイの木馬トリガーと、同様の特徴を示す他の逆文字列とを区別するために意味保存プロンプトと特別な摂動を提案する。 TrojAIとRLHFの有毒モデルデータセットに対するアプローチの評価は有望な結果を示している。

関連論文リスト

• Solving Trojan Detection Competitions with Linear Weight Classification [1.24275433420322]
  既存のデータセットやドメインの多くで驚くほどうまく機能する検出器を導入します。 我々はこのアルゴリズムを、トロイの木馬検出ベンチマークとドメインの多種多様なセットで評価する。
  論文  参考訳（メタデータ） (2024-11-05T19:00:34Z)
• Analyzing Multi-Head Attention on Trojan BERT Models [2.465689259704613]
  本稿では,トランスフォーマーモデルにおけるマルチヘッドアテンションの挙動について検討し,特に感情分析の文脈における良性モデルとトロイの木馬モデルの違いに着目した。 本研究では,トロイの木馬とベニグニグニグニグニグニグナグニグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグ
  論文  参考訳（メタデータ） (2024-06-12T06:43:59Z)
• VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models [65.23688155159398]
  VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。 近年,マルチモーダル・インストラクション・チューニングが提案されている。 敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。 本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:54:30Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Trigger Hunting with a Topological Prior for Trojan Detection [16.376009231934884]
  本稿では、トロイの木馬検出の問題、すなわちトロイの木馬モデルを特定することに取り組む。 一般的なアプローチの1つはリバースエンジニアリングであり、モデルの予測を操作することによってクリーンなイメージ上のトリガを復元する。 リバースエンジニアリングアプローチの大きな課題の1つは、トリガーの巨大な検索スペースである。 多様性やトポロジカル・シンプルさといった革新的な先例を提案し、適切なトリガを見つける可能性を高めるだけでなく、見出されたトリガの品質を向上させる。
  論文  参考訳（メタデータ） (2021-10-15T19:47:00Z)
• Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes [51.65308857232767]
  ディープニューラルネットワーク(DNN)をデプロイするビジョンシステムは、敵の例に弱いことが知られている。 近年の研究では、入力データの固有成分のチェックは、敵攻撃を検出するための有望な方法であることが示された。 言語モデルを用いてコンテキスト整合性チェックを行う新しい手法を開発した。
  論文  参考訳（メタデータ） (2021-08-19T00:52:10Z)
• Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
  多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。 本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。 本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
  論文  参考訳（メタデータ） (2020-07-28T19:00:40Z)
• Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
  トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。 既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。 そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
  論文  参考訳（メタデータ） (2020-07-16T06:55:00Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。