論文の概要: Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs

• arxiv url: http://arxiv.org/abs/2605.30521v1
• Date: Thu, 28 May 2026 19:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.205618
• Title: Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs
• Title（参考訳）: 信頼できないプロンプト入力に対するモックツールコールによる評価
• Abstract要約: 大規模言語モデルは、他のモデルからの回答を判断するなど、信頼できない入力を処理する必要がある。 現在のLLM仕様では、OpenAIのような主要なプロバイダが、インストラクション階層に沿って信頼性を区別している。 自然な緩和の可能性として、信頼できないコンテンツをモックツールコールで隔離としてラップすることが挙げられる。 私たちの仮説に反して、ツールラッピングはロバスト性を大きく改善しない。
• 参考スコア（独自算出の注目度）: 4.566221130579806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models must frequently process untrusted inputs, such as judging an answer from another model or running tasks like spam and harm classifiers while under adversarial pressure. These inputs are often string-formatted directly into a prompt template, leaving systems fragile to manipulation. Current LLM specs from major providers like OpenAI distinguish trustworthiness along an Instruction Hierarchy, from System messages (most trusted) to Tool Results (least trusted). A possible natural mitigation is to wrap untrusted content in a mock tool call as a quarantine. We explore this hypothesis with an automated redteaming search over static attack strings across seven models and three LLM-as-a-Judge tasks. Counter to our hypothesis, tool-wrapping does not broadly improve robustness. On a binary evaluation task (GSM8K grading) it typically increases attack success rates, an apparent inversion of the instruction hierarchy. On scalar and pairwise tasks the effect is smaller and model-dependent, with no tested model reliably helped, and several showing inversion. We recommend evaluating this limitation in deployed systems, and longer-term, pursuing stronger Instruction Hierarchy training or new untrusted-input primitives.
• Abstract（参考訳）: 大規模言語モデルは、他のモデルからの回答を判断したり、敵対的な圧力下でスパムや有害な分類器などのタスクを実行するなど、信頼できない入力を頻繁に処理しなければならない。 これらの入力は直接プロンプトテンプレートに文字列変換されることが多く、システムは操作に脆弱なままである。 OpenAIのような主要なプロバイダによる現在のLLM仕様は、インストラクション階層に沿った信頼性を、システムメッセージ(最も信頼できる)からツール結果(最も信頼できる)まで区別しています。 自然な緩和の可能性として、信頼できないコンテンツをモックツールコールで隔離としてラップすることが挙げられる。 この仮説は、7つのモデルと3つのLSM-as-a-Judgeタスクにわたる静的攻撃文字列を自動で再抽出することで探索する。 私たちの仮説に反して、ツールラッピングはロバスト性を大きく改善しない。 バイナリ評価タスク(GSM8K grading)では、通常は、命令階層の明らかな反転である攻撃成功率を増加させる。 スカラータスクとペアタスクでは、その効果は小さく、モデル依存であり、テストされたモデルは確実に役に立たない。 デプロイシステムにおけるこの制限を評価し、より強力なインストラクション階層トレーニングや新しい信頼できないインプットプリミティブを追求することを推奨する。

関連論文リスト

• Once a Response, Always a Response: Detecting LLM-generated Text via Latent Prompt Restoration [14.631414891878878]
  大規模言語モデル (LLM) は、大規模に流動的で説得力のあるテキストを生成することができる。 これらの懸念により、機械生成テキストの堅牢な検出がますます必要になる。 本稿では,潜時プロンプト復元に基づくトレーニング不要な検出器であるEchoPromptを提案する。
  論文  参考訳（メタデータ） (2026-08-06T08:22:19Z)
• Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
  現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。 これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。 ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:14Z)
• Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces [32.850551109913845]
  大規模言語モデル(LLM)の安全なデプロイにとって、ジェイルブレイク攻撃は依然として重要な脅威である このプロンプト中心のパラダイムは、ステートフルで関数呼び出し環境における構造的脆弱性を見落としていることを示す。 我々は、シミュレートされたモデレーショントレースに基づくブラックボックス攻撃フレームワークであるSMTを通じて、このアーキテクチャ欠陥を利用する。
  論文  参考訳（メタデータ） (2026-07-01T06:08:07Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
  LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。 エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。 ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
  論文  参考訳（メタデータ） (2026-03-11T22:06:44Z)
• The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
  複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。 提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。 本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2026-03-11T19:51:33Z)
• Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
  最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。 本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。 STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
  論文  参考訳（メタデータ） (2026-01-24T19:36:51Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Explicit Vulnerability Generation with LLMs: An Investigation Beyond Adversarial Attacks [0.5218155982819203]
  大規模言語モデル(LLM)は、コードアシスタントとしてますます使われている。 本研究は、より直接的な脅威について検討する。オープンソースのLLMは、トリガー時に脆弱性のあるコードを生成する。
  論文  参考訳（メタデータ） (2025-07-14T08:36:26Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。