論文の概要: A test suite of prompt injection attacks for LLM-based machine translation

• arxiv url: http://arxiv.org/abs/2410.05047v1
• Date: Mon, 7 Oct 2024 14:01:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:38:19.125190
• Title: A test suite of prompt injection attacks for LLM-based machine translation
• Title（参考訳）: LLMを用いた機械翻訳におけるプロンプトインジェクション攻撃の一テストスイート
• Authors: Antonio Valerio Miceli-Barone, Zhifan Sun,
• Abstract要約: LLMベースのNLPシステムは典型的には、インプットデータをインプロンプトテンプレートに埋め込むことで動作する。 最近、Sun と Miceli-Barone は LLM ベースの機械翻訳に対して PIA のクラスを提案した。 我々は、WMT 2024の汎用機械翻訳タスクの全ての言語対にこのアプローチを拡張した。
• 参考スコア（独自算出の注目度）: 4.459306403129608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based NLP systems typically work by embedding their input data into prompt templates which contain instructions and/or in-context examples, creating queries which are submitted to a LLM, and then parsing the LLM response in order to generate the system outputs. Prompt Injection Attacks (PIAs) are a type of subversion of these systems where a malicious user crafts special inputs which interfere with the prompt templates, causing the LLM to respond in ways unintended by the system designer. Recently, Sun and Miceli-Barone proposed a class of PIAs against LLM-based machine translation. Specifically, the task is to translate questions from the TruthfulQA test suite, where an adversarial prompt is prepended to the questions, instructing the system to ignore the translation instruction and answer the questions instead. In this test suite, we extend this approach to all the language pairs of the WMT 2024 General Machine Translation task. Moreover, we include additional attack formats in addition to the one originally studied.
• Abstract（参考訳）: LLMベースのNLPシステムは典型的には、入力データを命令を含むプロンプトテンプレートに埋め込み、LLMに送信されたクエリを生成し、LLM応答を解析してシステム出力を生成する。 プロンプト・インジェクション・アタック(英: Prompt Injection Attacks、PIAs)は、悪意のあるユーザーがプロンプトテンプレートに干渉する特別な入力を制作し、LLMがシステムデザイナの意図しない方法で応答するシステムである。 最近、Sun と Miceli-Barone は LLM ベースの機械翻訳に対して PIA のクラスを提案した。 具体的には、質問に対して相手のプロンプトが事前調整されるTrathfulQAテストスイートから質問を翻訳し、代わりに翻訳命令を無視して質問に答えるようにシステムに指示する。 このテストスイートでは、WMT 2024 General Machine Translationタスクの全ての言語対にこのアプローチを拡張します。 さらに、当初研究された攻撃フォーマットに加えて、追加の攻撃フォーマットも含んでいます。

関連論文リスト

• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• Defending LLMs against Jailbreaking Attacks via Backtranslation [61.878363293735624]
  「我々は、バックトランスレーションによる脱獄攻撃からLLMを守る新しい方法を提案する。」 推測されたプロンプトは、元のプロンプトの実際の意図を明らかにする傾向にある、逆転プロンプトと呼ばれる。 我々は、我々の防衛がベースラインを大幅に上回っていることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-02-26T10:03:33Z)
• StruQ: Defending Against Prompt Injection with Structured Queries [10.22774624798198]
  大きな言語モデル(LLM)は、高度な言語理解機能を利用することで、テキストベースのタスクを実行できる。 プロンプトインジェクション攻撃は重要な脅威であり、それらはモデルを騙して元のアプリケーションの命令から逸脱させ、代わりにユーザーディレクティブに従う。 この問題に対処するための一般的なアプローチである構造化クエリを導入する。 本システムでは, インジェクション攻撃に対する抵抗性を著しく改善し, 実用性にはほとんど, あるいは全く影響を与えない。
  論文  参考訳（メタデータ） (2024-02-09T12:15:51Z)
• ChIRAAG: ChatGPT Informed Rapid and Automated Assertion Generation [10.503097140635374]
  ChIRAAGはOpenAI GPT4をベースとして、設計の自然言語仕様からSystem Verilog Assertion (SVA)を生成する。 実験では、LSM生成した生のアサーションの27%に誤りがあり、数回の反復で修正された。 以上の結果から,LLMはアサーション生成プロセスにおいて技術者を合理化し,支援し,検証を再構築できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-31T12:41:27Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT [1.2640882896302839]
  本稿では,大規模言語モデル(LLM)をソフトウェア開発タスクの自動化に適用する,迅速なエンジニアリングに関する研究に貢献する。 さまざまなドメインに適応できるように、プロンプトを構造化するためのパターンを文書化するためのフレームワークを提供する。 第3に、複数のパターンからプロンプトを構築する方法を説明し、他のプロンプトパターンと組み合わせることで恩恵を受けるプロンプトパターンを説明する。
  論文  参考訳（メタデータ） (2023-02-21T12:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。