論文の概要: SelfOp: An Optimization Algorithm for Self-Improving Security Agents

• arxiv url: http://arxiv.org/abs/2609.22792v1
• Date: Sat, 19 Sep 2026 05:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.902149
• Title: SelfOp: An Optimization Algorithm for Self-Improving Security Agents
• Title（参考訳）: SelfOp: 自己改善型セキュリティエージェントの最適化アルゴリズム
• Abstract要約: SelfOpはフリーズされたセキュリティエージェントのタスクコンテキストを自動的に改善するアルゴリズムである。 エラー信号は評価器、エージェントの軌道、およびその振る舞いを形成するコンテキストアーティファクトを通じて後方に伝播する。 SelfOp は GPT-5.4-mini の 17 点自己改善を達成し、フロンティア GPT-5.4 のベースラインを 6 点超え、GPT-5.4 の 18.5 点自己改善を達成している。
• 参考スコア（独自算出の注目度）: 25.760960445642922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are increasingly used for security tasks: vulnerability discovery, exploit reproduction, and patch generation. Improving them at the model level demands expert demonstrations or computable rewards, which security tasks rarely offer: traces are costly, failures hard to diagnose, rewards sparse, and non-computable. Efforts thus shift to the harness and context, but manual tuning needs task-specific expertise and scales poorly, while automated methods rely on scarce ground truth, stronger optimizer models, or unguided propose-and-evaluate loops that reduce to costly trial and error. We introduce SelfOp, an algorithm that automatically improves a frozen security agent's task context (instructions, skills, and reference documents), without modifying its execution harness and model weights. SelfOp casts context optimization as chain-rule-inspired textual gradient descent: from a single instance's outcome, it propagates error signals backward through the evaluator, the agent's trajectory, and the context artifacts that shaped its behavior, yielding per-instance textual gradients. Gradients are accumulated across instances by clustering, ranking, and filtering, and committed only under cross-instance consensus. A convergence detector monitors the gradient signal itself and stops once the context has absorbed the generalizable information in the training data, without held-out validation data. We evaluate SelfOp on CyberGym, a benchmark of real-world vulnerability reproduction tasks. With fewer than 200 training examples, SelfOp yields a 17-point self-improvement for GPT-5.4-mini (with Codex), enough to surpass the frontier GPT-5.4 baseline by 6 points, and an 18.5-point self-improvement for GPT-5.4 itself. The optimized skills also transfer across models, highlighting that SelfOp-optimized skills learn generalizable task knowledge not model-specific patterns.
• Abstract（参考訳）: LLMエージェントは、脆弱性発見、複製のエクスプロイト、パッチ生成といったセキュリティタスクにますます利用されている。 モデルレベルでの改善には、専門家によるデモンストレーションや計算可能な報酬が必要で、セキュリティタスクはめったに提供されない – トレースはコストがかかり、障害は診断が困難、報酬はスパースで、計算不能である。 そのため、努力はハーネスとコンテキストにシフトするが、手動チューニングにはタスク固有の専門知識とスケールが不足する一方で、自動化された手法は根拠の不足、より強力なオプティマイザモデル、あるいはコストのかかる試行錯誤に還元される未解決の提案と評価のループに依存している。 本稿では,フリーズされたセキュリティエージェントのタスクコンテキスト(命令,スキル,参照資料)を自動的に改善するアルゴリズムであるSelfOpを紹介する。 1つのインスタンスの結果から、評価器、エージェントの軌道、そしてその振る舞いを形作ったコンテキストアーティファクトを通じてエラー信号を後方に伝播し、インスタンスごとのテキストグラデーションをもたらす。 グラディエントはクラスタリング、ランキング、フィルタリングによってインスタンス全体に蓄積され、クロスインスタンスコンセンサスの下でのみコミットされる。 収束検出器は、勾配信号自体を監視し、トレーニングデータ内の一般化可能な情報を保留検証データなしで吸収した後で停止する。 我々は、現実世界の脆弱性再現タスクのベンチマークであるCyberGym上でSelfOpを評価する。 200以下のトレーニング例で、SelfOpはGPT-5.4-mini(コーデックス)の17ポイントの自己改善を達成し、フロンティアのGPT-5.4ベースラインを6ポイント超え、GPT-5.4自体の18.5ポイントの自己改善を達成している。 最適化されたスキルはモデル間でも伝達され、モデル固有のパターンではなく、自己組織化可能なタスク知識を学ぶことが強調される。

関連論文リスト

• CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
  大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。 これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。 CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-08-31T01:59:51Z)
• SBCO: Self-Supervised, Verifier-Grounded Harness Optimization For Planning Agents [8.206010431605044]
  自己改善エージェントは、AIシステムの背後にあるヒューマンエンジニアリングの労力を削減し、時間とともにパフォーマンスを進化させ、自己改善することを目指している。 我々は,Gdel-machine法と同等の閉ループの検証器付きハーネスであるSBCOを導入するが,自己参照ではなく自己監視する。
  論文  参考訳（メタデータ） (2026-08-10T19:25:59Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration [49.050688065974605]
  メンバーシップ推論攻撃(MIAs)は、機械学習モデルにおけるトレーニングデータの漏洩を評価するための基本的な監査ツールである。 本稿では,自己探索と戦略進化の自動化プロセスとして,メンバーシップ推論を再構築するエージェントフレームワークであるAutoMIAを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:17:45Z)
• SEVerA: Verified Synthesis of Self-Evolving Agents [12.9624447364193]
  自己進化型エージェントフレームワークは、安全性や正確性の正式な保証を提供しない。 エージェントコード生成を制約付き学習問題として定式化し、ハードな形式仕様とソフトな目的とを組み合わせてタスクユーティリティをキャプチャする。 探索はFGGMコールを含む候補パラメトリックプログラムを合成し、検証は全てのパラメータ値に対する厳しい制約に関して正当性を証明し、制約のない学習に還元する。
  論文  参考訳（メタデータ） (2026-03-26T07:32:20Z)
• Continual Learning, Not Training: Online Adaptation For Agents [0.0]
  私たちは、推論(教師)を実行から切り離すデュアルエージェントアーキテクチャATLAS(Adaptive Teaching and Learning System)を紹介します。 ATLASは勾配のない連続学習を実現し、モデルパラメータからシステムレベルのオーケストレーションへの適応の軌跡をシフトさせる。
  論文  参考訳（メタデータ） (2025-11-02T21:48:31Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。