論文の概要: On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection

• arxiv url: http://arxiv.org/abs/2610.32531v1
• Date: Fri, 23 Oct 2026 12:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.511531
• Title: On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection
• Title（参考訳）: タスク, オフトラック: LLM とエージェントロバストネスをニアターゲットプロンプトインジェクションにベンチマークする
• Abstract要約: 大規模言語モデル(LLM)とエージェントが外部コンテンツに埋め込まれた悪意のある命令に抵抗するかどうかを評価する。 我々は、正解に類似した応答を追求する攻撃を、標的に近い不正確または有害なインジェクションを導入しながら呼び出す。 我々はNear-Target BenchmarkであるNTBenchを紹介した。
• 参考スコア（独自算出の注目度）: 26.714202418939518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt injection benchmarks assess whether large language models (LLMs) and agents resist malicious instructions embedded in external content. However, a system could perform well by rejecting attacks that obviously abandon the user's request, while still accepting changes that retain most of a legitimate answer but make it incorrect or harmful. Testing more instructions for unrelated outcomes would not necessarily reveal this weakness. We call attacks seeking responses designed to resemble legitimate answers while introducing incorrect or harmful changes near-target prompt injection. We introduce NTBench, the Near-Target Benchmark, which builds on legitimate tasks from existing datasets. For each task, a legitimate reference outcome guides the generation of target--instruction pairs, with separate tracks targeting incorrect and harmful outcomes in responses or agent tool invocations. Harmful targets can also accompany otherwise correct task completion. We combine LLM-based checks with human validation of the intended deviations, then assess whether injected instructions induce them using response judgments or tool-call checks, excluding deviations already observed without injection. We evaluate seven LLMs on ten datasets for language tasks and two agent benchmarks. Under a common budget of three attack executions per sample, both tracks achieve higher overall attack success rates than the fixed-target baseline for every evaluated model in each setting. On language tasks, the increases range from 9.3 to 35.8 percentage points for incorrect targets and 1.7 to 17.3 percentage points for harmful targets. These results show that resistance to the tested fixed-target attacks does not imply resistance to related incorrect or harmful outcomes, and that reference-guided targets broaden the failures revealed by robustness evaluation.
• Abstract（参考訳）: プロンプトインジェクションベンチマークは、大きな言語モデル(LLM)とエージェントが外部コンテンツに埋め込まれた悪意のある命令に抵抗するかどうかを評価する。 しかし、システムは、明らかにユーザの要求を放棄する攻撃を拒絶すると同時に、正当な回答のほとんどを保持しつつも、誤った、あるいは有害な変更を受け入れることで、うまく機能する可能性がある。 無関係な結果に対するもっと多くのインストラクションをテストすることは、必ずしもこの弱点を明らかにするとは限らない。 我々は、正解に類似した応答を追求する攻撃を、標的に近い不正確または有害なインジェクションを導入しながら呼び出す。 我々はNear-Target BenchmarkであるNTBenchを紹介した。 各タスクに対して、正当な参照結果がターゲット-インストラクションペアの生成を導く。 有害なターゲットには、さもなくば正しいタスク完了も伴う。 LLMをベースとしたチェックと人間の意図した逸脱の検証を組み合わせ、インジェクションされたインジェクションがそれらを反応判定やツールコールチェックで誘導するかどうかを、注入なしで既に観察されている逸脱を除いて評価する。 言語タスクのための10のデータセットと2つのエージェントベンチマークで7つのLSMを評価した。 サンプル毎に3回のアタック実行の共通予算の下では、どちらのトラックも、各設定で評価されたモデルごとに固定ターゲットベースラインよりも全体的なアタック成功率が高い。 言語タスクでは、不正なターゲットが9.3から35.8ポイント、有害なターゲットが1.7から17.3ポイントまで増加している。 これらの結果から, 固定目標攻撃に対する抵抗性は, 関連する不正あるいは有害な結果に対する抵抗性を示唆せず, 基準誘導目標がロバスト性評価によって明らかにされた障害を広げることが示唆された。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
  エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。 このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。 本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
  論文  参考訳（メタデータ） (2026-07-08T14:38:01Z)
• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• Ambig-DS: A Benchmark for Task-Framing Ambiguity in Data-Science Agents [2.3488056916440856]
  既存のベンチマークでは、エージェントがタスクが不明確かどうかを無視して、パイプラインが動作しているかどうかをスコア付けしている。 本稿では,予測対象曖昧さと評価対象曖昧さの2つの診断スイートであるAmbig-DSを紹介する。 すべてのタスクに対して、元の完全に指定されたバージョンと、コントロールされた編集によって生成されるあいまいなバリエーションをペアにします。
  論文  参考訳（メタデータ） (2026-05-10T18:34:12Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection [6.269725911814401]
  大きな言語モデル(LLM)は、幅広い言語ベースのタスクに対処する能力が大きく進歩しているため、人気ツールになりつつある。 しかし、LSMのアプリケーションはインジェクション攻撃に対して非常に脆弱であり、致命的な問題を引き起こす。 このプロジェクトでは,インジェクションのインジェクション攻撃に関連するセキュリティ脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T00:36:21Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。