論文の概要: Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense

• arxiv url: http://arxiv.org/abs/2608.27945v1
• Date: Fri, 28 Aug 2026 05:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.21315
• Title: Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense
• Title（参考訳）: クロスセッション分解攻撃:スケーリングリスクと意図的対応型検索防衛
• Abstract要約: 言語モデリングの損失の低減は、より有用なモデルを生み出します。 本研究は,このメカニズムの安全性について,独立した相互作用を通じて,良質なサブクエリが要求され,後に禁忌の対象へと再帰される,エンフクロス・セッション分解攻撃(enmphcross-session decomposition attack)における研究である。 我々は、この設定をEmphcompositional safety riskとして定式化し、条件付きリスク-転送境界を証明する。
• 参考スコア（独自算出の注目度）: 49.05879299987137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws are usually read as a capability story: lower language-modeling loss yields more useful models. We study a safety consequence of this mechanism in \emph{cross-session decomposition attacks}, where benign-looking subqueries are asked across independent interactions and later recomposed toward a forbidden objective. We formalize this setting as \emph{compositional safety risk} and prove a conditional risk-transfer bound: when the reference environment already contains dispersed evidence for a risky reconstruction, the gap between deployed composed risk and reference composed risk is controlled by the model's excess loss on allowed subqueries. Synthetic withholding experiments show that wider transformers assign lower loss to held-out instructions that never appear verbatim in training but are recoverable from injected supporting facts. A 600-intent pretrained-LLM evaluation shows that larger Qwen3 and Gemma3 family members can yield greater harmful-capability uplift under a fixed decomposition-composition pipeline. As a defense, IntentAlign-MiniLM, our 22M-parameter intent-aligned retriever, outperforms much larger embedding models on held-out intent retrieval and yields the best learned-retriever harmful recall across tested guardrails. Code is available in \href{https://github.com/liaodisen/Cross-Session-Decomposition-Attacks}{our GitHub repository}.
• Abstract（参考訳）: 言語モデリングの損失の低減は、より有用なモデルを生み出します。 本研究では,このメカニズムの安全性について研究し,各自の相互行為に対して良質なサブクエリーを問うとともに,後に禁じられた目的に向かって再帰する「emph{cross-session decomposition attack}」において検討する。 我々は、この設定を「emph{compositional safety risk}」として定式化し、条件付きリスク・トランスファー境界(条件付きリスク・トランスファー境界)を証明する。 総合的非保持実験により、より広いトランスフォーマーは、訓練において冗長に見えないが、注入された支援事実から回復可能な、保留命令に低い損失を割り当てることが示された。 600-Intent Pretrained-LLM 評価により,Qwen3 および Gemma3 ファミリーは, 固定された分解分解分解パイプラインの下で, より大きな有害能向上を達成できることが示された。 IntentAlign-MiniLMは、22Mパラメーターのインテントアライメント・アライメント・レトリバーで、ホールドアウトのインテント検索においてはるかに大きな埋め込みモデルより優れており、テストされたガードレールをまたいで最も学習しにくいリコールをもたらす。 コードは \href{https://github.com/liaodisen/Cross-Session-Decomposition-Attacks}{our GitHub repository} で公開されている。

関連論文リスト

• Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems [40.47928908205563]
  マルチエージェントLLMシステムは、一般的にオーケストレータを使用して、労働者のチームのためにタスクを分解し、テキストリフレクションによって改善する。 強い実証結果にもかかわらず、これらのシステムには調整、メモリ改善、外部検証の役割の統一的な説明が欠けている。 我々は,評価のための信頼ゲーティングと,断片的な静止環境に対する保証の再集計を行う。 実験では、これらのオブジェクトを環境条件付きメトリクスでインスタンス化し、予測調整法則とドリフト法則をテストする。
  論文  参考訳（メタデータ） (2026-09-02T15:50:10Z)
• Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety [12.022506016268112]
  マルチターン分解攻撃では、有害な目的を個別にもっともらしい要求とツールコールに分散することができる。 本稿では,軌跡レベルのセキュリティ証拠に対して行動生成を条件とした世代防衛である分散リスク(ReDiR)を提案する。 我々はReDiRを3つのモデルファミリーと8つのホールドアウトツールドメインにまたがる2つのエージェントセーフティベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-08-26T12:28:35Z)
• Quantifying Risk Under Evolving Uncertainty: Belief-Dependent Robustness for Safe Sequential Decision Making [0.0]
  RATTL(Risk-Adrial Total-Reward Learning)を提案する。 結果の計画問題は透明性とコンパクトさの条件下では良好であることを示す。 RATTLは実行時システムを含むエージェントの安全性を目標としており、不確実性の下で動作している。
  論文  参考訳（メタデータ） (2026-08-18T09:36:19Z)
• Capability-Routed Guard: Defending Large Reasoning Models Against Reasoning-Centric Jailbreaks [6.260656015665084]
  本稿では,大規模推論モデルのためのモデル依存型推論時ガードレールであるCapability-Routed Guard (CRG)を紹介する。 CRGリフレームは、信頼できない推論コンテキストから実行可能な意図を分離し、防御を機能ルーティング問題として促す。 これは多種多様な理性中心のジェイルブレイクを効果的に軽減し、良質なユーティリティを保持し、共通の過剰な問題を回避している。
  論文  参考訳（メタデータ） (2026-08-08T03:40:06Z)
• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• Hidden in Plain Sight: Benchmarking Agent Safety Against Decomposition Attacks with DECOMPBENCH [21.171990974350773]
  DeCompBenchは、分解攻撃時のエージェント安全性を評価するために設計されたベンチマークである。 実験の結果, モノリシックな有害なタスクに対して, 最先端のエージェントは高い拒絶率を示すが, 変異に対する拒絶率は著しく低いことがわかった。
  論文  参考訳（メタデータ） (2026-06-12T00:30:29Z)
• Beyond Semantic Relevance: Counterfactual Risk Minimization for Robust Retrieval-Augmented Generation [19.888565537472363]
  CoRM-RAG(Counterfactual Risk Minimization for RAG)は、検索と意思決定の安全性を一致させるフレームワークである。 トレーニング中にユーザのバイアスをシミュレートする認知摂動プロトコルを導入し,それを軽量なエビデンス・クリティカルに蒸留する。 このスコアリングモジュールは、対向的なクエリの摂動にも拘わらず、モデルの正しさを判断するために十分な明らかな強度を持つ文書を特定することを学習する。
  論文  参考訳（メタデータ） (2026-05-02T07:22:24Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。