論文の概要: Reflections and Fragments: Securing LLMs Against Sequential Mosaic Attacks

• arxiv url: http://arxiv.org/abs/2610.05346v1
• Date: Sun, 04 Oct 2026 16:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:26:08.918565
• Title: Reflections and Fragments: Securing LLMs Against Sequential Mosaic Attacks
• Title（参考訳）: 反射とフラグメント: シークエンシャルモザイク攻撃に対するLLMの確保
• Abstract要約: 本研究では,モザイク防衛の理論を開発し,このような攻撃を防ぐために必要なものを,役に立たないように特徴付ける。 我々は、この情報を転送するオンライン状態メカニズムであるウォッチマンを形式化する。 自己再生平衡だけでは有用性を証明せず、最悪の便益を最大化する制約付き定式化を動機付けていることを示す。
• 参考スコア（独自算出の注目度）: 22.71053925777653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-play red-teaming improves language-model safety by pitting attacker and defender roles against each other in a zero-sum game. However, real adversaries increasingly use mosaic attacks: multi-turn sequences whose individual fragments are innocuous in isolation yet assemble into a harmful payload. We develop a theory of mosaic defense that characterizes what is required to prevent such attacks without sacrificing helpfulness. We first show that no fixed bounded window of recent prompts is sufficient in general: safety-relevant information may occur arbitrarily far back in the interaction. We formalize a watchman, an online state mechanism that carries this information forward, and show that under explicit assumptions it enables zero-failure defense with positive benign helpfulness. Under stronger conditions, it is also optimal among zero-failure defenders. An exact watchman may nevertheless require exponentially many states, while exact maliciousness detection can require exponentially many queries in an unstructured black-box model. These state and query lower bounds do not by themselves imply hard learning: the construction underlying the state lower bound is efficiently learnable from labeled examples, whereas certifying worst-case safety can require substantially more information under restricted access. We also show that self-play equilibrium alone does not certify usefulness, motivating a constrained formulation that maximizes worst-case benign helpfulness among zero-failure defenders. Empirically, training role-specific attacker and defender LoRA adapters over frozen LLMs via multi-turn self-play strengthens both roles: attackers become more effective at eliciting harmful responses, while defenders become more robust to attack, with improvements also observed on unseen attack objectives.
• Abstract（参考訳）: セルフプレイのレッドチームにより、ゼロサムゲームにおいて攻撃者とディフェンダーの役割を互いに対戦させることで言語モデルの安全性が向上する。 しかし、現実の敵はモザイク攻撃をますます利用している: 個々のフラグメントが無害でありながら有害なペイロードに組み立てられたマルチターンシーケンス。 本研究では,モザイク防衛の理論を開発し,このような攻撃を防ぐために必要なものを,役に立たないように特徴付ける。 我々はまず、最近のプロンプトの固定された有界ウィンドウが、一般には十分でないことを示す。 我々は、この情報を転送するオンライン状態メカニズムであるウォッチマンを形式化し、明示的な仮定の下では、正の良識のあるゼロ障害防御を可能にすることを示す。 強い条件下では、ゼロフェイルディフェンダーにも最適である。 正確な監視者は指数関数的に多くの状態を必要とするが、正確な悪意の検出には非構造化のブラックボックスモデルで指数関数的に多くのクエリを必要とすることがある。 これらの状態とクエリローバウンドは、それ自体がハードラーニングを意味するものではない: 状態ローバウンドの基盤となる構造は、ラベル付き例から効率的に学習可能であるが、最悪のケースの安全性を証明するには、制限されたアクセス下でかなり多くの情報を必要とする。 また, 自己プレイ平衡だけでは有用性を証明せず, ゼロ障害ディフェンダーの最悪の便益性を最大化する制約付き定式化を動機付けていることを示す。 経験的に、ロール固有のアタッカーとディフェンダーのLoRAアダプタを、マルチターンのセルフプレイを通じて凍結LLM上でトレーニングすることで、両方の役割が強化される。

関連論文リスト

• MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety [28.246225272659917]
  本稿では,新しいマルチターンマルチエージェント強化学習フレームワークであるtextbfMAGICを紹介する。 大規模言語モデルの安全性アライメントを敵非対称ゲームとして定式化する。 本フレームワークは, モデルの有用性を損なうことなく, 優れた防衛成功率を示す。
  論文  参考訳（メタデータ） (2026-02-02T02:12:28Z)
• Be Your Own Red Teamer: Safety Alignment via Self-Play and Reflective Experience Replay [19.431152130507648]
  大規模言語モデル(LLM)は目覚ましい能力を達成したが、敵のジェイルブレイク攻撃に弱いままである。 本稿では、アタッカー(ジェイルブレイクの発生)とディフェンダー(有害な要求を拒否)の両方として機能するシステムであるセーフティセルフプレイ(SSP)を紹介する。 SSPは、堅牢な防御能力を自律的に進化させ、静的な敵対的データセットでトレーニングされたベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-15T17:00:16Z)
• Safety Alignment of LMs via Non-cooperative Games [51.83432183158595]
  現在のアプローチは、逐次的な敵の訓練に頼り、敵のプロンプトを生成し、それらを防御するために微調整されたLMを生成する。 我々は,アタッカーLMとディフェンダーLMの非ゼロサムゲームとしての安全性アライメントを共同でトレーニングする,異なるパラダイムを導入する。 提案手法では、ポイントワイズスコアではなくペアワイズ比較から導出される優先型報酬信号を用いて、より堅牢な監視と、報酬ハッキングの軽減を実現する。
  論文  参考訳（メタデータ） (2025-12-23T22:13:14Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。