論文の概要: SEEK: Skill Extraction with Evolving Knowledge against Frontier Science Agents
- arxiv url: http://arxiv.org/abs/2610.34365v2
- Date: Tue, 27 Oct 2026 07:20:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.351003
- Title: SEEK: Skill Extraction with Evolving Knowledge against Frontier Science Agents
- Title(参考訳): SEEK:フロンティア科学エージェントに対する知識の進化によるスキル抽出
- Abstract要約: 8つのオープンソースおよびクローズドソースのサイエンスエージェントプラットフォームで、40の保護されたスキルのベンチマークを構築します。
基準ベース, 基準フリー評価において, 直接的, 固定的, 包括的誘導的反復探索を比較した。
我々は,永続記憶における応答由来の証拠を集約し,再利用可能な攻撃スキルを進化させる,ブラックボックスの自己進化型レッドピーキングエージェントであるSEEKを提案する。
- 参考スコア(独自算出の注目度): 35.51362218283102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Science agents increasingly package domain expertise as reusable skills that plan analyses, select tools, and execute workflows. This modularity creates a confidentiality risk: the interactions that deliver a skill's capability can also reveal the skill itself. We build an extensible benchmark of 40 protected skills across eight open- and closed-source science-agent platforms, comparing direct, fixed-strategy, and bandit-guided iterative probing under reference-based and reference-free evaluation. Leakage is pervasive: all eight platforms (100%) leak at least one protected skill, and four reach 100% attack success under a single direct request. To stress-test platforms that resist simple probing, we propose SEEK (Skill Extraction with Evolving Knowledge), a black-box, self-evolving red-teaming agent that consolidates response-derived evidence in persistent memory and evolves reusable attack skills, using only user-visible responses. On 12 skills from SpatialAgent and Biomni, SEEK achieves 100% attack success while reducing the mean first-success round by 31.8% and 38.2% relative to bandit-guided probing. Against a confidentiality policy that blocks all three benchmark protocols, SEEK still extracts one of six protected skills. These findings show that current science agents do not reliably protect their skills and that defenses must be evaluated against adaptive, multi-turn attackers.
- Abstract(参考訳): 科学エージェントは、分析を計画し、ツールを選択し、ワークフローを実行する再利用可能なスキルとして、ドメインの専門知識をパッケージ化する。
スキルの能力を提供するインタラクションもまた、スキル自体を明らかにすることができます。
我々は、8つのオープンソースおよびクローズドソースサイエンスエージェントプラットフォームにまたがって、40の保護されたスキルに関する拡張可能なベンチマークを構築し、参照ベースおよび参照フリーな評価の下で、直接的、固定的、およびバンドイット誘導反復探索を比較した。
8つのプラットフォーム(100%)が少なくとも1つの保護されたスキルをリークし、4つが1つのダイレクトリクエストで100%の攻撃成功を達成する。
簡単な探索に抵抗するストレステストプラットフォームを提案するため,ユーザ可視応答のみを用いて,永続記憶における応答由来の証拠を集約し,再利用可能な攻撃スキルを進化させる,ブラックボックスの自己進化型レッドチームエージェントであるSEEKを提案する。
SpaceAgentとBiomniの12のスキルでは、SEEKは100%の攻撃成功を達成し、平均初回ラウンドは31.8%と38.2%に減らした。
3つのベンチマークプロトコルをすべてブロックする機密ポリシーに対して、SEEKは依然として6つの保護されたスキルのうちの1つを抽出している。
これらの結果は、現在の科学エージェントが彼らのスキルを確実に保護しておらず、適応的な多ターン攻撃者に対して防御を評価しなければならないことを示している。
関連論文リスト
- Chaining Skills to Hijack LLM Agents [13.991514285520788]
LLMエージェントは、特定のタスクのパフォーマンスを改善するためにスキルを使用する。
スキルはオープンソースリポジトリから生まれる可能性があるため、このハンドオフはアタッカーが管理するクレームを後から行うことができる。
本稿では,ユーザタスクやアタッカーが選択したアクションに合わせて,敵のスキルチェーンを構築し,洗練するAPEXを紹介する。
論文 参考訳(メタデータ) (2026-10-01T12:28:49Z) - Stealth Apart, Harm Together: Skill Cascading Attacks on Skill-Based Agent Systems [79.08507314067253]
スキルカスケード攻撃では、悪意のある目的が複数のスキルに分散され、それぞれの変更が独立して良さそうに見えるが、それらの組み合わせの実行は有害である。
本研究は, コンポーネントレベルの完全性とシステムレベルの安全性のギャップを浮き彫りにし, 個別のスキルではなく, クロススキルの相互作用を理由とする防御を呼び掛けた。
論文 参考訳(メタデータ) (2026-09-24T18:00:18Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳(メタデータ) (2026-08-14T07:26:38Z) - When Experience Becomes Instruction: Trajectory Poisoning in Self-Evolving Agent Skill Systems [9.77811063571131]
SES (Self-evolving skill) システムは、信頼できない経験を信頼できない指導にすることを可能にした。
本稿では,この促進プロセスに対するトラジェクティブ・ポジショニング・アタックであるPoisonedEvolutionを紹介する。
スキルヴィジブルなブラックボックス攻撃者は、目標とするスキルを検査し、有界な証拠を提供することができるが、プライベートプールや進化ロジックを観察したり、スキルバンクを編集することはできない。
論文 参考訳(メタデータ) (2026-08-06T03:32:43Z) - SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction [89.03272793385054]
エージェントスキルはエージェントワークフローにおける特権的な位置を占め、サードパーティスキルを脆弱な攻撃面にする。
我々はスキルベースアタックのベンチマークであるSkillHarmを紹介した。
攻撃成功率はFPPが86.3%、SMPが69.3%である。
論文 参考訳(メタデータ) (2026-06-01T17:45:39Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳(メタデータ) (2026-05-12T02:11:54Z) - SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。
SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
論文 参考訳(メタデータ) (2026-04-05T06:25:11Z) - Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale [26.757365536859453]
AIエージェントフレームワークの台頭はエージェントスキル、命令を含むモジュールパッケージ、エージェント機能を動的に拡張する実行可能なコードを導入した。
このアーキテクチャは強力なカスタマイズを可能にするが、スキルは暗黙の信頼と最小限の拒否によって実行され、重要なが不適合なアタックサーフェスを生み出す。
2つの主要な市場から42,447のスキルを収集し、この新興エコシステムの最初の大規模な経験的セキュリティ分析を行います。
論文 参考訳(メタデータ) (2026-01-15T12:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。