論文の概要: Benign Alone, Harmful Together: Exploiting Experience Composition in Self-Evolving LLM Agents

• arxiv url: http://arxiv.org/abs/2608.01759v1
• Date: Mon, 03 Aug 2026 06:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.350576
• Title: Benign Alone, Harmful Together: Exploiting Experience Composition in Self-Evolving LLM Agents
• Title（参考訳）: ベニグン・アローンとハーモフル・コラボ:自己進化型LLMエージェントの爆発的体験構成
• Abstract要約: EvoBreakは経験条件付きシーケンシャルアタックで、個別に良質なアタックステージタスクと誘導されたエクスペリエンスを通じて動作する。 EvoBreakは、高い良性を維持しながら、既存の攻撃を一貫して上回っている。 これらの結果から, 自己進化剤の持続的攻撃面としての良性体験組成が明らかとなった。
• 参考スコア（独自算出の注目度）: 25.747887285881415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-evolving large language model agents improve their capabilities by distilling interaction trajectories into persistent experiences. Yet this mechanism introduces a new safety risk: experiences that are benign in isolation may jointly weaken an agent's safety boundary when accumulated and reused across sessions. Existing memory attacks typically require direct memory access or induce explicitly malicious records, limiting their stealthiness and applicability. We propose EvoBreak, an experience-conditioned sequential attack that operates through individually benign attack-stage tasks and induced experiences. EvoBreak repeatedly observes the experiences distilled by the victim, identifies uncovered target-relevant requirements, and adaptively acquires complementary experiences before reformulating the final query to activate them jointly. To support training, we introduce BreakGym, a structure-first synthesis pipeline that generates decomposable safety-sensitive targets with diverse dependency structures. EvoBreak is optimized using rejection-sampling supervised fine-tuning and Hint-guided GRPO. Experiments across self-evolving frameworks, victim backbones, pre-evolution domains, and safety benchmarks demonstrate that EvoBreak consistently outperforms existing attacks while maintaining high benignness. These results reveal benign experience composition as a persistent attack surface in self-evolving agents.
• Abstract（参考訳）: 自己進化型大規模言語モデルエージェントは、相互作用軌跡を永続的な体験に蒸留することで、その能力を向上させる。 しかし、このメカニズムは新たな安全リスクをもたらす: 孤立して良性を持つ経験は、セッション間で蓄積され再利用された場合、エージェントの安全境界を共同的に弱める可能性がある。 既存のメモリ攻撃は、通常、直接メモリアクセスを必要とするか、明示的に悪意のあるレコードを誘導し、そのステルス性と適用性を制限する。 EvoBreakは、個別に良質な攻撃ステージタスクと誘導された経験を通して動作する、経験条件付きシーケンシャルアタックである。 EvoBreakは、被害者が蒸留した経験を繰り返し観察し、未発見のターゲット関連要件を特定し、最終的なクエリを再編成する前に補完的な経験を適応的に取得し、それらを共同で活性化する。 トレーニングを支援するために、さまざまな依存構造を持つ分解可能な安全性に敏感なターゲットを生成する構造第一合成パイプラインであるBreakGymを紹介した。 EvoBreakは、リジェクションサンプリングによる微調整とヒント誘導GRPOを用いて最適化されている。 自己進化フレームワーク、被害者のバックボーン、事前進化ドメイン、安全ベンチマークにわたる実験は、EvoBreakが高い良性を維持しながら、既存の攻撃を一貫して上回っていることを示している。 これらの結果から, 自己進化剤の持続的攻撃面としての良性体験組成が明らかとなった。

関連論文リスト

• FIDA: Feature Instability-Driven Attack on Self-Supervised Facial Representation [5.071273351499079]
  FIDA(Feature Instability-Driven Attack)は,新たなバックドアアタックフレームワークである。 FIDAは、インジェクションに微妙なセマンティックトリガーを使用するが、その重要なイノベーションは、フィーチャー不安定損失と呼ばれる新しい目的である。 実験の結果、FIDAは高い攻撃成功率を達成し、一般に評価された設定全体にわたって良質なユーティリティを保ちます。
  論文  参考訳（メタデータ） (2026-08-27T09:27:25Z)
• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences [5.4775608854724345]
  既存のエージェントメモリ攻撃は、特権アクセスまたは明示的な悪意のあるコンテンツを必要とするため、高度な安全フィルタによって検出できる。 反射剤は、特に重大だがもっともらしい仮説的結果と組み合わせた場合、このようなクリーンな経験に弱いことが判明した。 本報告では,システムプロンプトやメモリデータベースを直接制御する必要のないブラックボックス攻撃であるOEP(Obsessive Experience Poisoning)を導入する。
  論文  参考訳（メタデータ） (2026-05-18T14:08:59Z)
• On Safety Risks in Experience-Driven Self-Evolving Agents [78.82066774532676]
  本研究では, 自己進化型エージェントの蓄積と利用が, Web ベースおよび実施環境における安全性能に与える影響について検討する。 本研究は,現在の自己進化剤の限界を明らかにするとともに,安全で信頼性の高い適応を確実にするための,より原則化された戦略を求めるものである。
  論文  参考訳（メタデータ） (2026-04-18T11:32:36Z)
• NAAMSE: Framework for Evolutionary Security Evaluation of Agents [1.0131895986034316]
  我々は,エージェントのセキュリティ評価をフィードバック駆動最適化問題として再編成する進化的フレームワークであるNAAMSEを提案する。 本システムでは,遺伝子プロンプト変異,階層的コーパス探索,非対称的行動スコアリングのライフサイクルを編成する単一自律エージェントを用いている。 Gemini 2.5 Flashの実験では、進化的突然変異がワンショットメソッドによって欠落した脆弱性を体系的に増幅することを示した。
  論文  参考訳（メタデータ） (2026-02-07T06:13:02Z)
• Self-Consolidation for Self-Evolving Agents [51.94826934403236]
  大規模言語モデル(LLM)エージェントは静的システムとして機能し、生涯にわたる相互作用を通じて進化する能力に欠ける。 相補的進化機構を導入したLLMエージェントのための新しい自己進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-02T11:16:07Z)
• Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
  MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2025-10-31T16:50:49Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Your RAG is Unfair: Exposing Fairness Vulnerabilities in Retrieval-Augmented Generation via Backdoor Attacks [13.32144267469022]
  Retrieval-augmented Generation (RAG)は、検索機構と生成モデルを統合することにより、現実のグラウンド化を促進する。 本稿では,2段階のバックドアアタックを通じてRAGの公平性の脆弱性を明らかにするシステムフレームワークであるBiasRAGを紹介する。 事前学習フェーズでは、クエリエンコーダが妥協され、ターゲットグループを意図した社会的バイアスに整合させ、長期的持続性を確保する。 デプロイ後の段階では、バックドアを強化するために、敵文書を知識ベースに注入する。
  論文  参考訳（メタデータ） (2025-09-26T15:33:36Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。