Fugu-MT 論文翻訳(概要): Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections

論文の概要: Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections

arxiv url: http://arxiv.org/abs/2504.18333v1
Date: Fri, 25 Apr 2025 13:18:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:53.776455
Title: Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections
Title（参考訳）: LLM-as-a-Judgeシステムに対する敵対的攻撃:プロンプトインジェクションからの考察
Authors: Narek Maloyan, Dmitry Namiot,
Abstract要約: 本稿では,コンテンツ作者攻撃とシステムプロンプト攻撃を分離するフレームワークを提案する。 Gemma 3.27B Gemma 3.4B Llama 3.2 3B GPT 4 と Claude 3 Opus の4つのモデルについて,条件毎の50プロンプトを用いて,様々な防御を施した5つのモデルを評価した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLM as judge systems used to assess text quality code correctness and argument strength are vulnerable to prompt injection attacks. We introduce a framework that separates content author attacks from system prompt attacks and evaluate five models Gemma 3.27B Gemma 3.4B Llama 3.2 3B GPT 4 and Claude 3 Opus on four tasks with various defenses using fifty prompts per condition. Attacks achieved up to seventy three point eight percent success smaller models proved more vulnerable and transferability ranged from fifty point five to sixty two point six percent. Our results contrast with Universal Prompt Injection and AdvPrompter We recommend multi model committees and comparative scoring and release all code and datasets
Abstract（参考訳）: 判定システムとしてのLLMは、テキスト品質コードの正しさと引数の強度を評価するのに使われ、インジェクション攻撃を誘導するために脆弱である。本稿では,5つのモデル Gemma 3.27B Gemma 3.4B Llama 3.2 3B GPT 4 と Claude 3 Opus の4つのタスクにおいて,コンテント作者攻撃とシステムプロンプト攻撃を分離し,その5つのモデルを評価するフレームワークを提案する。攻撃は最大で7～3ポイント、成功率は8%、より小さなモデルはより脆弱で、転送性は50ポイントから60ポイント、6%だった。我々の結果とUniversal Prompt InjectionとAdvPrompterの対比マルチモデル委員会を推薦し、すべてのコードとデータセットを比較してリリースする。

関連論文リスト

Effective Black-Box Multi-Faceted Attacks Breach Vision Large Language Model Guardrails [32.627286570942445]
MultiFaceted Attackは、視覚大言語モデルにおける多層防御をバイパスするために設計されたアタックフレームワークである。 VLLMのマルチモーダルな性質を利用して、画像を通して有害なシステムプロンプトを注入する。攻撃率は61.56%で、最先端の手法を少なくとも42.18%上回っている。
論文参考訳（メタデータ） (2025-02-09T04:21:27Z)
The TIP of the Iceberg: Revealing a Hidden Class of Task-in-Prompt Adversarial Attacks on LLMs [1.9424018922013224]
LLMに対する新たなジェイルブレイク攻撃のクラスを提示する。提案手法では,シーケンス・ツー・シーケンス・タスクをモデルが間接的に禁止された入力を生成するプロンプトに組み込む。我々は,6つの最先端言語モデルにおいて,安全対策を回避できることを実証した。
論文参考訳（メタデータ） (2025-01-27T12:48:47Z)
Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文参考訳（メタデータ） (2025-01-03T15:40:03Z)
LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文参考訳（メタデータ） (2024-10-27T16:23:26Z)
Jigsaw Puzzles: Splitting Harmful Questions to Jailbreak Large Language Models [50.89022445197919]
大規模言語モデル(LLM)は、人間との関わりにおいて卓越した性能を示した。 LLMは脱獄攻撃に弱いため、有害な反応が生じる。我々は,高度LLMに対する単純かつ効果的なマルチターンジェイルブレイク戦略であるJigsaw Puzzles (JSP)を提案する。
論文参考訳（メタデータ） (2024-10-15T10:07:15Z)
FRACTURED-SORRY-Bench: Framework for Revealing Attacks in Conversational Turns Undermining Refusal Efficacy and Defenses over SORRY-Bench (Automated Multi-shot Jailbreaks) [0.0]
本稿では,有害なクエリを一見無害なサブクエストに分解することで,敵のプロンプトを生成する手法を提案する。提案手法は, GPT-4, GPT-4o, GPT-4o-mini, GPT-3.5-Turbo モデルに対して, 攻撃成功率 (ASR) を最大で+46.22%向上させる。
論文参考訳（メタデータ） (2024-08-28T22:51:29Z)
SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文参考訳（メタデータ） (2024-06-20T17:56:07Z)
Improved Generation of Adversarial Examples Against Safety-aligned LLMs [72.38072942860309]
勾配に基づく手法を用いて生成した敵対的プロンプトは、安全対応のLDMに対して自動ジェイルブレイク攻撃を行う際、優れた性能を示す。本稿では,この問題に対する新たな視点を探求し,トランスファーベースの攻撃にインスパイアされたイノベーションを活用することで緩和できることを示唆する。この組み合わせによって生成されたクエリ固有逆接接尾辞の87%がLlama-2-7B-Chatを誘導し、AdvBench上のターゲット文字列と正確に一致する出力を生成することを示した。
論文参考訳（メタデータ） (2024-05-28T06:10:12Z)
Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
論文参考訳（メタデータ） (2024-04-24T23:39:58Z)
JailGuard: A Universal Detection Framework for LLM Prompt-based Attacks [34.95274579737075]
JailGuardは、テキストおよび画像モダリティ間のプロンプトベースの攻撃を普遍的に検出するフレームワークである。攻撃は本来、良心的な攻撃よりも頑丈ではないという原則に基づいて行われる。テキストと画像の入力で86.14%/82.90%の最高の検出精度を達成し、最先端の手法を11.81%-25.73%、12.20%-21.40%向上させた。
論文参考訳（メタデータ） (2023-12-17T17:02:14Z)
Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
論文参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。