論文の概要: SMILES-Prompting: A Novel Approach to LLM Jailbreak Attacks in Chemical Synthesis

• arxiv url: http://arxiv.org/abs/2410.15641v1
• Date: Mon, 21 Oct 2024 05:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:23.863648
• Title: SMILES-Prompting: A Novel Approach to LLM Jailbreak Attacks in Chemical Synthesis
• Title（参考訳）: SMILES-Prompting:化学合成におけるLDMジェイルブレイク攻撃の新しいアプローチ
• Authors: Aidan Wong, He Cao, Zijing Liu, Yu Li,
• Abstract要約: 本稿では,化学分野における大規模言語モデル(LLM)のセキュリティ脆弱性について検討する。 我々は,レッドチーム,明示的プロンプト,暗黙的プロンプトなど,いくつかのプロンプトインジェクション攻撃法の有効性を評価する。 本稿では, SMILES-prompting という, 化学物質を参照するための簡易な分子入力線入力システム (SMILES) を用いた新しい攻撃手法を提案する。
• 参考スコア（独自算出の注目度）: 12.577741068644077
• License:
• Abstract: The increasing integration of large language models (LLMs) across various fields has heightened concerns about their potential to propagate dangerous information. This paper specifically explores the security vulnerabilities of LLMs within the field of chemistry, particularly their capacity to provide instructions for synthesizing hazardous substances. We evaluate the effectiveness of several prompt injection attack methods, including red-teaming, explicit prompting, and implicit prompting. Additionally, we introduce a novel attack technique named SMILES-prompting, which uses the Simplified Molecular-Input Line-Entry System (SMILES) to reference chemical substances. Our findings reveal that SMILES-prompting can effectively bypass current safety mechanisms. These findings highlight the urgent need for enhanced domain-specific safeguards in LLMs to prevent misuse and improve their potential for positive social impact.
• Abstract（参考訳）: 様々な分野にわたる大規模言語モデル(LLM)の統合が増加し、危険情報を伝達する可能性への懸念が高まっている。 本稿では,化学分野におけるLSMのセキュリティ脆弱性,特に有害物質合成の指導力について検討する。 我々は,レッドチーム,明示的プロンプト,暗黙的プロンプトなど,いくつかのプロンプトインジェクション攻撃法の有効性を評価する。 さらに, SMILES-prompting (SMILES-prompting, Simplified Molecular-Input Line-Entry System, SMILES) という新しい攻撃手法を導入する。 SMILES-promptingは, 現行の安全機構を効果的に回避できることが明らかとなった。 これらの知見は、誤用を予防し、社会にポジティブな影響をもたらす可能性を高めるために、LLMにおけるドメイン固有の保護を強化する緊急の必要性を浮き彫りにした。

関連論文リスト

• ChemSafetyBench: Benchmarking LLM Safety on Chemistry Domain [28.205744043861756]
  ChemSafetyBenchは、大規模言語モデル(LLM)の正確性と安全性を評価するために設計されたベンチマークである。 ChemSafetyBenchは、化学特性のクエリ、化学利用の合法性の評価、合成法の記述という3つの重要なタスクを含んでいる。 私たちのデータセットには、様々な化学材料にまたがる30万以上のサンプルがあります。
  論文  参考訳（メタデータ） (2024-11-23T12:50:33Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Securing Large Language Models: Addressing Bias, Misinformation, and Prompt Attacks [12.893445918647842]
  大きな言語モデル(LLM)は、様々な分野において印象的な機能を示しているが、その使用の増加は重要なセキュリティ上の懸念を提起している。 この記事では、LLMセキュリティにおける重要な問題に対処する最近の文献をレビューし、正確性、バイアス、コンテンツ検出、攻撃に対する脆弱性に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-12T14:42:08Z)
• Counterfactual Explainable Incremental Prompt Attack Analysis on Large Language Models [32.03992137755351]
  本研究は,大規模言語モデル(LLM)における安全性とプライバシ対策の推進的必要性に光を当てるものである。 本稿では,攻撃効果を定量的に測定するために,特定の方法でプロンプトを誘導する新しい手法であるCEIPAを提案する。
  論文  参考訳（メタデータ） (2024-07-12T14:26:14Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
  MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。 本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-02-20T23:08:21Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Signed-Prompt: A New Approach to Prevent Prompt Injection Attacks Against LLM-Integrated Applications [0.0]
  本稿では,早期のインジェクション攻撃に対する新しい解決策として,Signed-Prompt法を提案する。 この研究には、権限のあるユーザによるコマンドセグメント内の機密命令の署名が含まれており、LLMは信頼できる命令ソースを識別することができる。 実験はSigned-Prompt法の有効性を示し、様々な種類のプロンプトインジェクション攻撃に対してかなりの抵抗を示した。
  論文  参考訳（メタデータ） (2024-01-15T11:44:18Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。