論文の概要: Context-Aware Prompt Injection Detection via Small Language Models in RAG Pipelines: nokast-secureRAG

• arxiv url: http://arxiv.org/abs/2610.28364v1
• Date: Tue, 20 Oct 2026 15:26:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.885749
• Title: Context-Aware Prompt Injection Detection via Small Language Models in RAG Pipelines: nokast-secureRAG
• Title（参考訳）: RAGパイプラインにおける小言語モデルによる文脈認識型プロンプト注入検出:nokast-SecureRAG
• Abstract要約: 局所的検索・拡張生成システムは間接的注射と中毒に対して脆弱である。 検索と生成の間のセマンティックファイアウォールであるnokast-Secureを提案する。 ユーザクエリと検索コンテキストを共同で評価し、ペアを安全、疑わしい、悪意のあるものとして分類する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local Retrieval-Augmented Generation (RAG) systems are vulnerable to indirect prompt injection and retrieval poisoning, where malicious instructions in retrieved content are mistaken for trusted input. We present nokast-secureRAG, a roughly 0.5B-parameter small language model that acts as a semantic firewall between retrieval and generation. It jointly evaluates the user query and retrieved context, classifying the pair as safe, suspicious, or malicious. The model is trained using a teacher-judge-student pipeline: a 35B teacher generates 5,233 examples across four attack families, and an independent 120B judge re-labels them, achieving 95.0% agreement before student fine-tuning. On a held-out in-distribution test set, the model achieves 0.994 detection recall at a 0.026 false-positive rate and a 0.006 attack-success-rate proxy, outperforming a regex baseline, a public prompt-injection classifier, Llama Guard 3 1B, and its untuned version. Prompt-Guard-86M reaches 0.900 recall but has a 0.690 false-positive rate. On a judgment-flip test, where the same sentence is benign or malicious depending on context, the model correctly classifies both cases 75% of the time, outperforming the compared baselines. Ablations indicate that retrieved context carries the main attack signal, while query-context consistency reduces false positives. Single-request latency is 293-404 ms, above the target of 100 ms, while amortized throughput latency is 37 ms under batching. On the external PoisonedRAG benchmark, recall falls to near zero, indicating that fluent fact-poisoning attacks lie outside the detector's instruction-consistency threat model. We report this limitation alongside the in-distribution results. The model, data-generation pipeline, and evaluation harness are released open source.
• Abstract（参考訳）: 局所検索・拡張生成(RAG)システムは間接的なインジェクションと検索中毒に対して脆弱であり、検索されたコンテンツの悪意ある指示を信頼された入力と間違える。 約0.5Bパラメータの小さな言語モデルであるnokast-SecureRAGを,検索と生成の間のセマンティックファイアウォールとして機能する。 ユーザクエリと検索コンテキストを共同で評価し、ペアを安全、疑わしい、悪意のあるものとして分類する。 35Bの教師が4つの攻撃ファミリーで5,233のサンプルを生成し、独立した120Bの裁判官がそれらを再ラベルし、学生の微調整の前に95.0%の合意に達した。 保持された流通試験セットでは、0.094の検知リコールを0.026の偽陽性率と0.006のアタック・サクセスレートプロキシで達成し、Regexベースライン、公開プロンプトインジェクション分類器、Llama Guard 31B、および未修正バージョンを上回ります。 Prompt-Guard-86Mは0.900リコールに達するが、偽陽性率は0.690である。 文脈に応じて同じ文が良性または悪質である判断フリップテストでは、モデルが両方のケースを75%の時間で正しく分類し、比較したベースラインを上回っている。 アブレーションは、検索されたコンテキストが主攻撃信号を持っていることを示しているが、クエリコンテキストの一貫性は偽陽性を減少させる。 単一要求のレイテンシは、100ミリ秒以上の293-404ミリ秒、アモータライズされたレイテンシは、バッチ処理時の37ミリ秒である。 外部のPoisonedRAGベンチマークでは、リコールはゼロに近づき、流動的な事実汚染攻撃が検出器の命令一貫性脅威モデルの外にあることを示している。 本報告では,この制限と流通成績について報告する。 モデル、データ生成パイプライン、評価ハーネスがオープンソースとしてリリースされた。

関連論文リスト

• CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
  間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。 モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
  論文  参考訳（メタデータ） (2026-09-29T02:51:31Z)
• Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。 本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。 Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
  論文  参考訳（メタデータ） (2026-08-21T13:42:41Z)
• Behavioral Grammar: Detecting Adaptive Malware via Tiny Language Model Priors and Second-Order Temporal Analysis [1.560152792366037]
  本稿では,ホストの動作を構造化言語として扱う検出アーキテクチャである振舞い文法について述べる。 各システムイベントは、イベントタイプ、プロセス、引数スケルトン、パスカテゴリ、親プロセス、ユーザ、宛先、イベント間タイミングにまたがる8つのトークン表現に識別される。 我々は,これらの知見を共進化経済学モデルに組み入れ,行動文法検出はルール回避から分布マッチングへ回避コストをシフトさせると主張した。
  論文  参考訳（メタデータ） (2026-08-01T16:28:38Z)
• Boundary-targeted Membership Inference Attacks on Safety Classifiers [70.20833439671131]
  安全分類器は、セルフハームとメンタルヘルスの議論を含むセンシティブなデータセットに基づいて訓練される。 低信頼例を識別する新たな境界目標選択戦略を導入する。 実験により、相手は会話の19%を安全分類器が5%の偽陽性率でユーザーの苦痛を示すようにフラグ付けして回復できることが示された。 これは最先端のMIAメソッドだけで攻撃するより3.5ドル高い。
  論文  参考訳（メタデータ） (2026-05-21T12:05:22Z)
• When the Ruler is Broken: Parsing-Induced Suppression in LLM-Based Security Log Evaluation [0.0]
  完全に機能的なモデルが完全に非機能なカテゴリに現れる可能性のある,無音で体系的な評価誤差のクラスを実証する。 SOC-Bench v0は、標準化された13のカテゴリの脅威分類、最小統計パワー要件、ファジィフィールド抽出仕様、および将来のSOC研究における特定の精度の歪みを防ぐための公開スコアリングスクリプトからなるベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:03:11Z)
• Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench [0.0]
  AgentProp-Benchは4つのドメインに2300のトレースを持つ2,000タスクのベンチマークである。 我々は、判断信頼性を定量化し、エラーの伝播を特徴づけ、実行時の緩和を評価する。 すべてのコード、データ、トレース、および人間のラベルはhttps://github.com/bhaskargurram-ai/agenthallu-bench.orgで公開されている。
  論文  参考訳（メタデータ） (2026-04-17T21:15:35Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• MINIMAL: Mining Models for Data Free Universal Adversarial Triggers [57.14359126600029]
  我々は、NLPモデルから入力非依存の逆のトリガーをマイニングするための、新しいデータフリーアプローチ、MINIMALを提案する。 我々はスタンフォード・センティメント・ツリーバンクの正のクラスを93.6%から9.6%に減らした。 SNLI(Stanford Natural Language Inference)では、このシングルワードトリガーによって、エンターメントクラスの精度が90.95%から0.6%未満に低下する。
  論文  参考訳（メタデータ） (2021-09-25T17:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。