論文の概要: Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks

• arxiv url: http://arxiv.org/abs/2507.02735v1
• Date: Thu, 03 Jul 2025 15:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.572615
• Title: Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks
• Title（参考訳）: Meta SecAlign: プロンプトインジェクション攻撃に対するセキュアな基盤 LLM
• Authors: Sizhe Chen, Arman Zharmagambetov, David Wagner, Chuan Guo,
• Abstract要約: モデルレベルのディフェンスを内蔵した,初のオープンソースかつオープンソースのLLMであるMeta SecAlignを開発した。 当社の最高のモデルであるMeta-SecAlign-70Bは、迅速なインジェクション攻撃に対する最先端の堅牢性を実現しています。
• 参考スコア（独自算出の注目度）: 21.422004323323343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt injection attacks pose a significant security threat to LLM-integrated applications. Model-level defenses have shown strong effectiveness, but are currently deployed into commercial-grade models in a closed-source manner. We believe open-source models are needed by the AI security community, where co-development of attacks and defenses through open research drives scientific progress in mitigation against prompt injection attacks. To this end, we develop Meta SecAlign, the first open-source and open-weight LLM with built-in model-level defense that achieves commercial-grade model performance. We provide complete details of our training recipe, which utilizes an improved version of the SOTA SecAlign defense. Evaluations on 9 utility benchmarks and 7 security benchmarks show that Meta SecAlign, despite being trained on a generic instruction-tuning dataset, confers security in unseen downstream tasks, including tool-calling and agentic web navigation, in addition general instruction-following. Our best model -- Meta-SecAlign-70B -- achieves state-of-the-art robustness against prompt injection attacks and comparable utility to closed-source commercial LLM with model-level defense.
• Abstract（参考訳）: プロンプトインジェクション攻撃は、LLM統合アプリケーションに重大なセキュリティ脅威をもたらす。 モデルレベルのディフェンスは強い効果を示しているが、現在はクローズドソース方式で商用モデルにデプロイされている。 AIセキュリティコミュニティは、オープンリサーチによる攻撃と防衛の共同開発によって、迅速なインジェクション攻撃に対する緩和の科学的進歩が促進されると考えている。 そこで我々はMeta SecAlignを開発した。Meta SecAlignは,商用グレードのモデル性能を実現するモデルレベルのディフェンスを内蔵した,最初のオープンソースかつオープンウェイトなLLMである。 我々はSOTA SecAlignディフェンスの改良版を利用したトレーニングレシピの完全な詳細を提供する。 9つのユーティリティベンチマークと7つのセキュリティベンチマークの評価によると、Meta SecAlignは、汎用的な命令チューニングデータセットでトレーニングされているにも関わらず、ツールコールやエージェントWebナビゲーションなど、見知らぬ下流タスクのセキュリティを、一般的な命令フォローに加えている。 当社の最高のモデルであるMeta-SecAlign-70Bは、迅速なインジェクション攻撃に対する最先端の堅牢性と、モデルレベルの防御を備えたクローズドソース商用LCMに匹敵する実用性を実現しています。

関連論文リスト

• A Survey on Model Extraction Attacks and Defenses for Large Language Models [55.60375624503877]
  モデル抽出攻撃は、デプロイされた言語モデルに重大なセキュリティ脅威をもたらす。 この調査は、抽出攻撃と防御攻撃の包括的分類、機能抽出への攻撃の分類、データ抽出の訓練、およびプロンプトターゲット攻撃を提供する。 モデル保護,データプライバシ保護,迅速なターゲット戦略に編成された防御機構について検討し,その効果を異なる展開シナリオで評価する。
  論文  参考訳（メタデータ） (2025-06-26T22:02:01Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models [8.024771725860127]
  大きな言語モデル(LLM)は、安全メカニズムをバイパスするジェイルブレイク攻撃に対して脆弱なままである。 我々は, LLMの安全性ポリシーの活性化を前提として, 計算資源を占有する新しい拡張性のあるジェイルブレイク攻撃を導入する。
  論文  参考訳（メタデータ） (2024-10-05T15:10:01Z)
• BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defenses on Large Language Models [27.59116619946915]
  生成型大規模言語モデル(LLM)は、幅広いタスクにおいて最先端の結果を得たが、バックドア攻撃の影響を受けないままである。 BackdoorLLMは、テキストジェネレーションLLMのバックドア脅威を体系的に評価する最初の包括的なベンチマークである。 i) 標準化されたトレーニングと評価パイプラインを備えたベンチマークの統一リポジトリ; (ii) データ中毒、重毒、隠れ状態操作、チェーン・オブ・シークレット・ハイジャックなど、さまざまなアタック・モダリティのスイート; (iii) 8つの異なるアタック戦略にまたがる200以上の実験。
  論文  参考訳（メタデータ） (2024-08-23T02:21:21Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Generative AI in Cybersecurity: A Comprehensive Review of LLM Applications and Vulnerabilities [1.0974825157329373]
  本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。 ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。 GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
  論文  参考訳（メタデータ） (2024-05-21T13:02:27Z)
• A Comprehensive Survey of Attack Techniques, Implementation, and Mitigation Strategies in Large Language Models [0.0]
  この記事では、モデル自体に対する攻撃と、モデルアプリケーションに対する攻撃という2つの攻撃カテゴリについて説明する。 前者は専門知識、モデルデータへのアクセス、重要な実装時間が必要です。 後者は攻撃者にはよりアクセスしやすく、注目されている。
  論文  参考訳（メタデータ） (2023-12-18T07:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。