論文の概要: Adversarial Tokenization

• arxiv url: http://arxiv.org/abs/2503.02174v1
• Date: Tue, 04 Mar 2025 01:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:27.853236
• Title: Adversarial Tokenization
• Title（参考訳）: 敵対的トークン化
• Authors: Renato Lui Geh, Zilei Shao, Guy Van den Broeck,
• Abstract要約: 現在のLLMパイプラインは、与えられた文字列に対して1つのトークン化しかできない。 LLMは1つのトークン化のみに基づいて訓練されているにもかかわらず、他のトークン化のセマンティックな理解を維持していることを示す。
• 参考スコア（独自算出の注目度）: 24.6192327937381
• License:
• Abstract: Current LLM pipelines account for only one possible tokenization for a given string, ignoring exponentially many alternative tokenizations during training and inference. For example, the standard Llama3 tokenization of penguin is [p,enguin], yet [peng,uin] is another perfectly valid alternative. In this paper, we show that despite LLMs being trained solely on one tokenization, they still retain semantic understanding of other tokenizations, raising questions about their implications in LLM safety. Put succinctly, we answer the following question: can we adversarially tokenize an obviously malicious string to evade safety and alignment restrictions? We show that not only is adversarial tokenization an effective yet previously neglected axis of attack, but it is also competitive against existing state-of-the-art adversarial approaches without changing the text of the harmful request. We empirically validate this exploit across three state-of-the-art LLMs and adversarial datasets, revealing a previously unknown vulnerability in subword models.
• Abstract（参考訳）: 現在のLLMパイプラインは、トレーニングや推論中に指数関数的に多くの代替トークン化を無視して、与えられた文字列に対して1つの可能なトークン化しか説明できない。 例えば、ペンギンの標準的なLlama3トークン化は [p,enguin] であるが、[peng,uin] は完全に有効な代替手段である。 本稿では, LLMが1つのトークン化のみに基づいて訓練されているにもかかわらず, 他のトークン化のセマンティックな理解を保ちながら, LLMの安全性に関する疑問を提起する。 安全とアライメントの制限を回避するために、明らかに悪意のある文字列を反対にトークン化できますか? 敵トークン化は攻撃の効果的かつ無視された軸であるだけでなく、有害な要求のテキストを変更することなく、既存の最先端の敵アプローチと競合することを示す。 我々は、このエクスプロイトを、最先端の3つのLSMと敵のデータセットで実証的に検証し、これまで知られていなかったサブワードモデルの脆弱性を明らかにした。

関連論文リスト

• Token Highlighter: Inspecting and Mitigating Jailbreak Prompts for Large Language Models [61.916827858666906]
  大規模言語モデル(LLM)は、ユーザクエリに対する応答を提供するために、ChatGPTなどのサービスに統合されつつある。 本稿では,Token Highlighterという手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T05:10:02Z)
• Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers [32.274579719726546]
  トークン化は、人間可読テキストをモデル可読な離散トークンでブリッジする重要なステップである。 近年の研究では、トークン化剤が不要なモデル挙動を引き出すために利用できることが判明している。 非完全トークン、すなわち、バイトレベルバイトペア符号化(BPE)トークン化(英語版)による不完全トークン、すなわち、不完全トークンについて検討する。
  論文  参考訳（メタデータ） (2024-10-31T07:19:44Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Safety Alignment Should Be Made More Than Just a Few Tokens Deep [48.823599143711235]
  現在のLarge Language Models(LLM)の安全性アライメントは脆弱である。 比較的単純な攻撃、あるいは微調整さえも、ジェイルブレイク対応のモデルを作ることができる。 最初の数個のトークン以上の安全性アライメントの強化は、一般的なエクスプロイトに対するロバスト性を大幅に向上させる可能性があることを、私たちは示しています。
  論文  参考訳（メタデータ） (2024-06-10T00:35:23Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• An LLM can Fool Itself: A Prompt-Based Adversarial Attack [26.460067102821476]
  本稿では, プロンプトベースの対向攻撃(PromptAttack)を用いて, LLMの対向ロバスト性を評価する効率的なツールを提案する。 PromptAttackは、敵のテキスト攻撃を攻撃プロンプトに変換することで、被害者のLSMが敵のサンプルを不正に出力する可能性がある。 Llama2とGPT-3.5を使った総合的な実験結果から、PromptAttackはAdvGLUEやAdvGLUE++に比べて攻撃成功率がずっと高いことが証明されている。
  論文  参考訳（メタデータ） (2023-10-20T08:16:46Z)
• Certifying LLM Safety against Adversarial Prompting [70.96868018621167]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。