論文の概要: Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs

• arxiv url: http://arxiv.org/abs/2605.30521v1
• Date: Thu, 28 May 2026 19:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.205618
• Title: Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs
• Title（参考訳）: 信頼できないプロンプト入力に対するモックツールコールによる評価
• Authors: David Gros, Adam Gleave,
• Abstract要約: 大規模言語モデルは、他のモデルからの回答を判断するなど、信頼できない入力を処理する必要がある。 現在のLLM仕様では、OpenAIのような主要なプロバイダが、インストラクション階層に沿って信頼性を区別している。 自然な緩和の可能性として、信頼できないコンテンツをモックツールコールで隔離としてラップすることが挙げられる。 私たちの仮説に反して、ツールラッピングはロバスト性を大きく改善しない。
• 参考スコア（独自算出の注目度）: 4.566221130579806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models must frequently process untrusted inputs, such as judging an answer from another model or running tasks like spam and harm classifiers while under adversarial pressure. These inputs are often string-formatted directly into a prompt template, leaving systems fragile to manipulation. Current LLM specs from major providers like OpenAI distinguish trustworthiness along an Instruction Hierarchy, from System messages (most trusted) to Tool Results (least trusted). A possible natural mitigation is to wrap untrusted content in a mock tool call as a quarantine. We explore this hypothesis with an automated redteaming search over static attack strings across seven models and three LLM-as-a-Judge tasks. Counter to our hypothesis, tool-wrapping does not broadly improve robustness. On a binary evaluation task (GSM8K grading) it typically increases attack success rates, an apparent inversion of the instruction hierarchy. On scalar and pairwise tasks the effect is smaller and model-dependent, with no tested model reliably helped, and several showing inversion. We recommend evaluating this limitation in deployed systems, and longer-term, pursuing stronger Instruction Hierarchy training or new untrusted-input primitives.
• Abstract（参考訳）: 大規模言語モデルは、他のモデルからの回答を判断したり、敵対的な圧力下でスパムや有害な分類器などのタスクを実行するなど、信頼できない入力を頻繁に処理しなければならない。 これらの入力は直接プロンプトテンプレートに文字列変換されることが多く、システムは操作に脆弱なままである。 OpenAIのような主要なプロバイダによる現在のLLM仕様は、インストラクション階層に沿った信頼性を、システムメッセージ(最も信頼できる)からツール結果(最も信頼できる)まで区別しています。 自然な緩和の可能性として、信頼できないコンテンツをモックツールコールで隔離としてラップすることが挙げられる。 この仮説は、7つのモデルと3つのLSM-as-a-Judgeタスクにわたる静的攻撃文字列を自動で再抽出することで探索する。 私たちの仮説に反して、ツールラッピングはロバスト性を大きく改善しない。 バイナリ評価タスク(GSM8K grading)では、通常は、命令階層の明らかな反転である攻撃成功率を増加させる。 スカラータスクとペアタスクでは、その効果は小さく、モデル依存であり、テストされたモデルは確実に役に立たない。 デプロイシステムにおけるこの制限を評価し、より強力なインストラクション階層トレーニングや新しい信頼できないインプットプリミティブを追求することを推奨する。

関連論文リスト

• The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
  複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。 提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。 本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2026-03-11T19:51:33Z)
• Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
  最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。 本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。 STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
  論文  参考訳（メタデータ） (2026-01-24T19:36:51Z)
• Explicit Vulnerability Generation with LLMs: An Investigation Beyond Adversarial Attacks [0.5218155982819203]
  大規模言語モデル(LLM)は、コードアシスタントとしてますます使われている。 本研究は、より直接的な脅威について検討する。オープンソースのLLMは、トリガー時に脆弱性のあるコードを生成する。
  論文  参考訳（メタデータ） (2025-07-14T08:36:26Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。