論文の概要: RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.06401v1
• Date: Mon, 05 Oct 2026 14:21:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.470577
• Title: RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents
• Title（参考訳）: RAISED:LLM剤のプロンプト注入に対するロバスト性自己蒸留
• Abstract要約: 既存の訓練時間防衛は、攻撃の成功率を減らすことができるが、多くの場合、一般的な能力の犠牲になる。 トレーニングベースの防御は,モデルの出力分布にかなりのドリフトを生じさせることを示す。 自己生成と自己蒸留を組み合わせたトレーニングフレームワークであるRAISEDを紹介する。
• 参考スコア（独自算出の注目度）: 3.8960790912254772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-using language-model agents are vulnerable to indirect prompt injection because they must act on untrusted external content. Existing training-time defenses can reduce attack success rates, but often at the cost of general capabilities. We show that training-based defenses induce substantial drift in the model's output distribution, altering its behavior even in benign settings and providing a potential mechanism for utility degradation. We further identify a failure mode of these defenses: On benign tool-use tasks, the model refrains from a step needed to finish an authorized task, particularly when that step is indicated by a tool output. To address these limitations, we introduce RAISED (Robust Attack Invariance through Self-Distillation), a training framework that combines self-generation and self-distillation. The model first generates its own tool-use scenarios, with an emphasis on cases where task completion requires acting on legitimate guidance from tool outputs. Then, through self-distillation, the student is trained to match the teacher's clean-context behavior on both clean and injected variants of the same trajectory. RAISED substantially reduces the attack success rate of prompt injections in tool responses while, unlike prior training-based defenses, preserving utility on both agentic and general-purpose benchmarks.
• Abstract（参考訳）: ツールを使用する言語モデルエージェントは、信頼できない外部コンテンツに対して動作しなければならないため、間接的なプロンプトインジェクションに対して脆弱である。 既存の訓練時間防衛は、攻撃の成功率を減らすことができるが、多くの場合、一般的な能力の犠牲になる。 トレーニングベースの防御は, モデル出力分布にかなりのドリフトを生じさせ, 良質な設定でも動作を変化させ, 実用性劣化のメカニズムを提供する。 良質なツール使用タスクでは、特にツール出力によってそのステップが示される場合に、承認されたタスクを完了するために必要なステップからモデルを控えます。 これらの制約に対処するために、自己生成と自己蒸留を組み合わせたトレーニングフレームワークであるRAISED(Robust Attack Invariance through Self-Distillation)を導入する。 モデルはまず、独自のツール使用シナリオを生成し、タスク完了がツールアウトプットからの正当なガイダンスに作用する必要があるケースに重点を置いている。 そして、自己蒸留により、同じ軌跡の清潔な変種と注入された変種の両方において、教師の清潔な文脈行動に適合するように訓練される。 RAISEDは、以前のトレーニングベースディフェンスとは異なり、エージェントおよび汎用ベンチマークの両方で実用性を維持する一方で、ツール応答におけるプロンプトインジェクションの攻撃成功率を大幅に低下させる。

関連論文リスト

• Self-Reflection Fine-Tuning: Enhancing Agent Security against Prompt Injection Attacks from Failure Experience [83.9792313419956]
  Self-Reflection Fine-Tuning(SRFT)は、エージェントが自身の障害経験から学習することで堅牢性を向上させるためのトレーニングフレームワークである。 我々はこのフレームワークをLlama-3.1-8B-InstructとQwen3-8B上に構築したSR-Agentでインスタンス化し、静的および適応的なプロンプトインジェクションベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-10-03T03:45:44Z)
• One Demonstration Is Enough for Real-World Robotic Reinforcement Learning [34.23164234669014]
  本稿では,実世界のロボットRLにおける介入プロセスを完全に自動化するために,ひとつのデモンストレーションを利用するAutoSERLを提案する。 2つのロボットプラットフォームにまたがる6つの接触集中操作タスク(挿入、吊り下げ、ヒンジベースタスク)についてAutoSERLを評価した。
  論文  参考訳（メタデータ） (2026-07-02T03:23:40Z)
• SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
  言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。 SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。 Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
  論文  参考訳（メタデータ） (2026-06-11T05:06:50Z)
• Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models [27.250148827297604]
  HDPOは、ツールの効率を競合するスカラー目標から厳格な条件に書き換えるフレームワークです。 私たちのモデルであるMetisは、推論精度を同時に高めながら、ツールの呼び出しを桁違いに削減します。
  論文  参考訳（メタデータ） (2026-04-09T17:59:57Z)
• SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
  エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。 フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。 本手法は,現実的な環境下で高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-15T16:09:48Z)
• Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
  最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。 本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。 STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
  論文  参考訳（メタデータ） (2026-01-24T19:36:51Z)
• Defense Against Indirect Prompt Injection via Tool Result Parsing [5.69701430275527]
  LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。 この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。 そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
  論文  参考訳（メタデータ） (2026-01-08T10:21:56Z)
• DRIP: Defending Prompt Injection via De-instruction Training and Residual Fusion Model Architecture [21.45291667976768]
  大規模言語モデル(LLM)は、素晴らしい命令追従機能を示している。 モデルの中心的な脆弱性は、セマンティックロール理解の欠如にある。 本稿では,意味モデリングの観点からの訓練時間防衛であるDRIPを提案する。
  論文  参考訳（メタデータ） (2025-11-01T08:26:37Z)
• TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [92.26240528996443]
  大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。 提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。 提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T06:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。