論文の概要: Alignment Under Pressure: The Case for Informed Adversaries When Evaluating LLM Defenses

• arxiv url: http://arxiv.org/abs/2505.15738v1
• Date: Wed, 21 May 2025 16:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.782965
• Title: Alignment Under Pressure: The Case for Informed Adversaries When Evaluating LLM Defenses
• Title（参考訳）: 圧力下におけるアライメント : LLM防御評価におけるインフォームド・アドバーナリーの事例
• Authors: Xiaoxue Yang, Bozhidar Stevanoski, Matthieu Meeus, Yves-Alexandre de Montjoye,
• Abstract要約: アライメント(Alignment)は、迅速な注射や脱獄といった攻撃を防御するために使われる主要なアプローチの1つである。 グレディ・コーディネート・グラディエント(GCG)に対する攻撃成功率(ASR)の報告
• 参考スコア（独自算出の注目度）: 6.736255552371404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are rapidly deployed in real-world applications ranging from chatbots to agentic systems. Alignment is one of the main approaches used to defend against attacks such as prompt injection and jailbreaks. Recent defenses report near-zero Attack Success Rates (ASR) even against Greedy Coordinate Gradient (GCG), a white-box attack that generates adversarial suffixes to induce attacker-desired outputs. However, this search space over discrete tokens is extremely large, making the task of finding successful attacks difficult. GCG has, for instance, been shown to converge to local minima, making it sensitive to initialization choices. In this paper, we assess the future-proof robustness of these defenses using a more informed threat model: attackers who have access to some information about the alignment process. Specifically, we propose an informed white-box attack leveraging the intermediate model checkpoints to initialize GCG, with each checkpoint acting as a stepping stone for the next one. We show this approach to be highly effective across state-of-the-art (SOTA) defenses and models. We further show our informed initialization to outperform other initialization methods and show a gradient-informed checkpoint selection strategy to greatly improve attack performance and efficiency. Importantly, we also show our method to successfully find universal adversarial suffixes -- single suffixes effective across diverse inputs. Our results show that, contrary to previous beliefs, effective adversarial suffixes do exist against SOTA alignment-based defenses, that these can be found by existing attack methods when adversaries exploit alignment knowledge, and that even universal suffixes exist. Taken together, our results highlight the brittleness of current alignment-based methods and the need to consider stronger threat models when testing the safety of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)はチャットボットからエージェントシステムまで、現実世界のアプリケーションに急速にデプロイされる。 アライメント(Alignment)は、迅速な注射や脱獄といった攻撃を防御するために使われる主要なアプローチの1つである。 近年の防衛は、敵の接尾辞を生成するホワイトボックス攻撃であるGreedy Coordinate Gradient(GCG)に対してさえも、攻撃者が望んだ出力を誘導する近ゼロ攻撃成功率(ASR)を報告している。 しかし、この離散トークン上の検索空間は非常に大きいため、攻撃を成功させることは困難である。 例えば、GCGは局所ミニマに収束することが示されており、初期化選択に敏感である。 本稿では,アライメントプロセスに関する情報にアクセス可能な攻撃者に対して,より情報に富んだ脅威モデルを用いて,これらの防御の将来的な堅牢性を評価する。 具体的には、中間モデルチェックポイントを利用してGCGを初期化し、各チェックポイントが次のチェックポイントのステップストーンとして機能する情報ホワイトボックスアタックを提案する。 本手法は,SOTA(State-of-the-art Defenses)とモデルに対して,高い有効性を示す。 さらに、他の初期化手法よりも優れた情報初期化を示し、攻撃性能と効率を大幅に向上させるために、勾配インフォームされたチェックポイント選択戦略を示す。 重要なことに, 多様な入力に対して有効な単一の接尾辞である, 普遍的な接尾辞を見つける方法も提案する。 本研究は,従来の信念に反して,SOTAアライメントに基づく防御に対して有効な敵サフィックスが存在すること,敵がアライメント知識を利用する場合の既存の攻撃方法によって,また,万能サフィックスさえ存在することを示唆している。 本研究の結果は, 従来のアライメント方式の脆さと, LLMの安全性をテストする際に, より強力な脅威モデルを検討することの必要性を浮き彫りにした。

関連論文リスト

• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• Stop Testing Attacks, Start Diagnosing Defenses: The Four-Checkpoint Framework Reveals Where LLM Safety Breaks [0.2291770711277359]
  大きな言語モデル(LLM)は有害な出力を防ぐための安全メカニズムを配置するが、これらの防御は敵のプロンプトに弱いままである。 textbfFour-Checkpoint Frameworkを導入し、処理ステージ(インプット対出力)と検出レベル(リテラル対インテント)の2次元に沿って安全メカニズムを整理する。 GPT-5, Claude Sonnet 4, Gemini 2.5 Proを3,312個の単ターンブラックボックステストケースで評価した。
  論文  参考訳（メタデータ） (2026-02-10T10:17:25Z)
• Beyond Suffixes: Token Position in GCG Adversarial Attacks on Large Language Models [0.0]
  我々は、一般的なGreedy Coordinate Gradient(GCG)攻撃に注目し、ジェイルブレイク攻撃の未発見の攻撃軸を特定する。 ケーススタディとしてGCGを用いて, 接尾辞の代わりに接頭辞を生成するよう攻撃を最適化し, 攻撃成功率に実質的に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2026-02-03T08:53:35Z)
• Prototype-Guided Robust Learning against Backdoor Attacks [16.60001324267935]
  バックドア攻撃はトレーニングデータに毒を加え、モデルにバックドアを埋め込む。 本稿では,PGRL(Prototype-Guided Robust Learning)を提案する。
  論文  参考訳（メタデータ） (2025-09-03T14:41:54Z)
• The Surprising Effectiveness of Membership Inference with Simple N-Gram Coverage [71.8564105095189]
  対象モデルからのテキスト出力のみに依存する会員推論攻撃であるN-Gram Coverage Attackを導入する。 我々はまず、N-Gram Coverage Attackが他のブラックボックスメソッドより優れている、様々な既存のベンチマークを実証する。 GPT-4oのような最近のモデルでは、メンバーシップ推論に対するロバスト性が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-08-13T08:35:16Z)
• Advancing Jailbreak Strategies: A Hybrid Approach to Exploiting LLM Vulnerabilities and Bypassing Modern Defenses [4.706534644850809]
  2つの主要な推論フェーズの脅威はトークンレベルとプロンプトレベルのジェイルブレイクである。 トークンレベルの手法とプロンプトレベルの手法を統合した2つのハイブリッドアプローチを提案し,多様なPTLMにおけるジェイルブレイクの有効性を向上する。
  論文  参考訳（メタデータ） (2025-06-27T07:26:33Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• Mind the Gap: Detecting Black-box Adversarial Attacks in the Making through Query Update Analysis [3.795071937009966]
  アドリアックは機械学習(ML)モデルの整合性を損なう可能性がある。 本稿では,逆ノイズインスタンスが生成されているかどうかを検出するフレームワークを提案する。 適応攻撃を含む8つの最先端攻撃に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-03-04T20:25:12Z)
• Attack-in-the-Chain: Bootstrapping Large Language Models for Attacks Against Black-box Neural Ranking Models [111.58315434849047]
  本稿では,アタック・イン・ザ・チェーン(Attack-in-the-Chain)という新しいランキングアタックフレームワークを紹介する。 大型言語モデル(LLMs)とニューラルランキングモデル(NRMs)の相互作用をチェーン・オブ・ソートに基づいて追跡する。 2つのWeb検索ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-12-25T04:03:09Z)
• InjecGuard: Benchmarking and Mitigating Over-defense in Prompt Injection Guardrail Models [7.186499635424984]
  プロンプトインジェクション攻撃は大規模言語モデル(LLM)に重大な脅威をもたらす プロンプトガードモデルは防御に有効であるが、単語バイアスの引き金として過防衛に苦しむ。 InjecGuardは、新しいトレーニング戦略であるMitigating Over-defense for Freeを取り入れた、新しいプロンプトガードモデルである。
  論文  参考訳（メタデータ） (2024-10-30T07:39:42Z)
• Enhancing Adversarial Attacks through Chain of Thought [0.0]
  勾配に基づく敵対的攻撃は、特に整列した大言語モデル(LLM)に対して有効である 本稿では,CoTプロンプトとgreedy coordinate gradient (GCG)技術を統合することで,敵攻撃の普遍性を高めることを提案する。
  論文  参考訳（メタデータ） (2024-10-29T06:54:00Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Guidance Through Surrogate: Towards a Generic Diagnostic Attack [101.36906370355435]
  我々は、攻撃最適化中に局所最小限を避けるための誘導機構を開発し、G-PGAと呼ばれる新たな攻撃に繋がる。 修正された攻撃では、ランダムに再起動したり、多数の攻撃を繰り返したり、最適なステップサイズを検索したりする必要がありません。 効果的な攻撃以上に、G-PGAは敵防御における勾配マスキングによる解離性堅牢性を明らかにするための診断ツールとして用いられる。
  論文  参考訳（メタデータ） (2022-12-30T18:45:23Z)
• Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
  HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。 近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。 攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。 BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T09:51:28Z)
• Scale-Invariant Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [22.531976474053057]
  プロジェクテッド・グラディエント・Descent (PGD) 攻撃は最も成功した敵攻撃の1つであることが示されている。 我々は, 対向層の特徴とソフトマックス層の重みの角度を利用して, 対向層の生成を誘導するスケール不変逆襲 (SI-PGD) を提案する。
  論文  参考訳（メタデータ） (2022-01-29T08:40:53Z)
• Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
  この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。 我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
  論文  参考訳（メタデータ） (2020-07-07T18:40:19Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)
• Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
  本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。 そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
  論文  参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。