論文の概要: Identify, Classify, Act: Per-Instruction Controlled Compliance for LLMs over External Data

• arxiv url: http://arxiv.org/abs/2610.22874v1
• Date: Fri, 16 Oct 2026 03:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.739466
• Title: Identify, Classify, Act: Per-Instruction Controlled Compliance for LLMs over External Data
• Title（参考訳）: Identify, Classification, Act: Per-Instruction Controlled Compliance for LLMs over external data
• Abstract要約: 不足する能力は、textbfper-instruction credit attributionであり、外部データインストラクション分類として形式化されている。 インストラクション毎のコンプライアンスに対する報奨フレームワークである textbfEDIC を提案する。
• 参考スコア（独自算出の注目度）: 9.258120204788911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs over external data face a per-instruction tension: a single document or tool return often interleaves legitimate directives with adversarial prompt injections, and the model must follow the former while rejecting the latter. Existing defenses suppress or trust all external instructions, collapsing the safety-utility frontier and forcing a choice between over-refusal and over-compliance. We argue the missing capability is \textbf{per-instruction credit attribution} and formalize it as External-Data Instruction Classification, an identify-classify-act decision over each embedded directive. We propose \textbf{EDIC}, a decomposed reward framework for per-instruction compliance. A scene-grounded pipeline injects mixed beneficial and harmful instructions with counterfactual filtering, while a generative judge is initialized by SFT and refined with GRPO to attribute compliance at the instruction level. The judge then produces a reward that separately encourages beneficial compliance and penalizes harmful compliance for RL training. Across two backbones and five benchmarks, EDIC improves both safety and utility over the strongest prior defense, lifting harmful-rejection by up to 7.7\% and Arena-Hard-Auto utility by 12.5\% on Qwen3-4B. The code repository is hosted at https://github.com/yingyingxia666/EDIC.
• Abstract（参考訳）: 単一のドキュメントやツールを返すと、正統な指示を敵のプロンプトインジェクションでインターリーブすることが多く、モデルは後者を拒絶しながら前者に従う必要がある。 既存の防衛は全ての外部命令を抑制または信頼し、安全ユーティリティ・フロンティアを崩壊させ、過剰な拒絶と過度な遵守の選択肢を強制する。 不足する能力は、textbf{per-instruction credit attribution} であり、各組み込みディレクティブに対する識別-分類-実行決定である外部データインストラクション分類として形式化されている、と我々は主張する。 本稿では,授業ごとのコンプライアンスのための報酬フレームワークである「textbf{EDIC}」を提案する。 シーングラウンドのパイプラインは、偽ファクトフィルタリングで有益で有害な命令を混合注入し、生成ジャッジは、SFTによって初期化され、GRPOで洗練され、命令レベルでのコンプライアンスを属性する。 次に、裁判官は、それぞれが有益なコンプライアンスを奨励し、RLトレーニングに対する有害なコンプライアンスを罰する報酬を生成する。 2つのバックボーンと5つのベンチマークで、EDICは最強の防衛に対する安全性と実用性の両方を改善し、有害な拒絶を最大7.7\%、Qwen3-4Bでアレナ・ハードオートユーティリティを12.5\%引き上げている。 コードリポジトリはhttps://github.com/yingyingxia666/EDICにホストされている。

関連論文リスト

• Self-Reflection Fine-Tuning: Enhancing Agent Security against Prompt Injection Attacks from Failure Experience [83.9792313419956]
  Self-Reflection Fine-Tuning(SRFT)は、エージェントが自身の障害経験から学習することで堅牢性を向上させるためのトレーニングフレームワークである。 我々はこのフレームワークをLlama-3.1-8B-InstructとQwen3-8B上に構築したSR-Agentでインスタンス化し、静的および適応的なプロンプトインジェクションベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-10-03T03:45:44Z)
• IH-Benchmark: A Conflict-Centered Benchmark for Instruction-Hierarchy Robustness in LLM Applications [1.9966419762834917]
  IH-Benchmarkは、直接システムユーザ競合(S>U)とツール経由のユーザツール競合(U>T)にまたがる、命令階層の堅牢性のためのコンフリクト中心のベンチマークである。 37モデル中、階層順守は98.2%から20.5%の範囲で評価されている。 強いS>Uコンプライアンスは、U>Tロバストネスの信頼できるプロキシではないことが分かりました。
  論文  参考訳（メタデータ） (2026-07-28T17:06:13Z)
• ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs [11.599619860803472]
  安全に整合したオープンソースモデルは、デプロイメントの指示を最大43.4%上回っていることが分かりました。 また,消音によって外耳吹の頻度が低下することが判明した。 これらの結果から,多元的アライメントにおける基本的な緊張感が明らかとなり,ユーザが保護する同じ安全トレーニングが,予測不能な責任リスクを生み出す方法で,エージェントの配置指示に対する行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2026-07-15T18:48:49Z)
• AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
  LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である 本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。 我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-11T13:23:46Z)
• TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs [7.125400292079228]
  大きな言語モデル(LLM)は、人間の値に合わせるように微調整され、しばしばアライメントドリフトを示す。 以前の作業ではアライメント障害が特徴的だったが、これらの障害の根底にあるトレーニングタイムの信念源についてはほとんど知られていない。 TraceAlignは、モデルのトレーニングコーパスの根本原因に安全でない完了をトレースするための統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T05:03:35Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• Certifying LLM Safety against Adversarial Prompting [70.96868018621167]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。