論文の概要: Towards the Worst-case Robustness of Large Language Models

• arxiv url: http://arxiv.org/abs/2501.19040v1
• Date: Fri, 31 Jan 2025 11:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 22:46:12.983708
• Title: Towards the Worst-case Robustness of Large Language Models
• Title（参考訳）: 大規模言語モデルの最悪のロバスト性に向けて
• Authors: Huanran Chen, Yinpeng Dong, Zeming Wei, Hang Su, Jun Zhu,
• Abstract要約: textitDiffTextPureは、事前に定義された平滑な分布を用いて入力プロンプトを拡散させる一般的な防御法である。 理論的には、フラクタル・クナプサックあるいは 0-1 クナプサックソルバを用いて、全ての滑らかな分布に対する強ロバスト性の下界を導出する。
• 参考スコア（独自算出の注目度）: 38.26913877579708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have revealed the vulnerability of Large Language Models (LLMs) to adversarial attacks, where the adversary crafts specific input sequences to induce harmful, violent, private, or incorrect outputs. Although various defenses have been proposed, they have not been evaluated by strong adaptive attacks, leaving the worst-case robustness of LLMs still intractable. By developing a stronger white-box attack, our evaluation results indicate that most typical defenses achieve nearly 0\% robustness.To solve this, we propose \textit{DiffTextPure}, a general defense that diffuses the (adversarial) input prompt using any pre-defined smoothing distribution, and purifies the diffused input using a pre-trained language model. Theoretically, we derive tight robustness lower bounds for all smoothing distributions using Fractal Knapsack or 0-1 Knapsack solvers. Under this framework, we certify the robustness of a specific case -- smoothing LLMs using a uniform kernel -- against \textit{any possible attack} with an average $\ell_0$ perturbation of 2.02 or an average suffix length of 6.41.
• Abstract（参考訳）: 近年の研究では、敵対的攻撃に対するLarge Language Models (LLMs) の脆弱性が明らかにされている。 様々な防御策が提案されているが、強い適応攻撃では評価されていない。 より強力なホワイトボックス攻撃を開発することにより、ほとんどの典型的な防御は、ほぼ0\%の堅牢性を達成できることを示す。これを解決するために、事前定義された平滑な分布を用いて(逆)入力プロンプトを拡散させ、事前訓練された言語モデルを用いて拡散された入力を浄化する一般的な防御法である「textit{DiffTextPure}」を提案する。 理論的には、フラクタル・クナプサックあるいは 0-1 クナプサックソルバを用いて、全ての滑らかな分布に対する強ロバスト性の下界を導出する。 この枠組みの下では、特定のケースのロバスト性(均一なカーネルを用いてLLMを平滑化する)を、平均$\ell_0$摂動2.02または平均接尾辞長さ6.41で証明する。

関連論文リスト

• A generative approach to LLM harmfulness detection with special red flag tokens [15.796683630119654]
  我々はレッドフラッグトークン(rf>)と呼ばれる特別なトークンでモデルの語彙を拡張することを提案する。 本発明の安全性訓練方法は、会話中に常に有害な生成分類器にLLMを効果的に増強する。 また、入力プロンプトだけでなく、生成された各回答を評価し、サンプリングベースの攻撃に対してより強力な防御を提供する。
  論文  参考訳（メタデータ） (2025-02-22T21:48:48Z)
• Smoothed Embeddings for Robust Language Models [11.97873981355746]
  大規模言語モデル(LLM)は、アライメントを抑え、有害な出力を誘導するジェイルブレイク攻撃に対して脆弱である。 本稿では,埋め込みベクトルにランダムノイズを付加し,各出力トークンの生成時にアグリゲーションを行うRESTAディフェンスを提案する。 本実験は,本手法がベースラインディフェンスと比較して,実用上のトレードオフよりも優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2025-01-27T20:57:26Z)
• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Fooling the Textual Fooler via Randomizing Latent Representations [13.77424820701913]
  敵語レベルの摂動はよく研究され効果的な攻撃戦略である。 本稿では、敵の例を生成する過程を複雑にすることを目的とする、軽量で攻撃に依存しない防御法を提案する。 本稿では,AdvFoolerの対人的単語レベル攻撃に対する最先端のロバスト性を実証的に示す。
  論文  参考訳（メタデータ） (2023-10-02T06:57:25Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
  本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。 そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
  論文  参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。