論文の概要: Masked Erosion: How Acceptance Gates Lose Redundant Safeguards in Self-Improving Agents

• arxiv url: http://arxiv.org/abs/2610.38392v1
• Date: Wed, 28 Oct 2026 07:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.967932
• Title: Masked Erosion: How Acceptance Gates Lose Redundant Safeguards in Self-Improving Agents
• Title（参考訳）: マスケエロージョン:自己改善剤におけるアクセプタンスゲートの喪失
• Abstract要約: 2つのエージェント環境における4つのセーフガードのサブセットの損害を測定する。 GEPAはあらゆる安全ルールを冗長に保っていたが、最後の3つのハーネスのうち2つは、より弱いモデルの下で誤用された認証情報であった。 走行前に凍結された統計モデルは、各ゲートの保護が安全コストとバッチサイズの変化によってどこで壊れるかを予測する。
• 参考スコア（独自算出の注目度）: 0.9399085898994096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-improving LLM agents edit their own harness, the prompts and rules around a fixed model, and keep an edit only if an acceptance gate scores it higher on a batch of tasks. Such a gate sees what the harness does under the current model, not what it would still prevent if one safeguard failed. When safeguards overlap, deleting one is masked: the others still block the harm, so the gate decides on task success alone and redundancy erodes unseen. We measure harm for every subset of four written safeguards in two agent environments and run 411 improvement loops under ten gate rules, mostly as controlled deletion experiments, plus three runs of the GEPA optimizer. A deletion behind another working safeguard adds almost no observable harm. A paired significance test blocks deletions that pass by chance but not deletions that genuinely raise task success, and a larger evaluation batch lets it delete cheaper safeguards: at the same cost, 20-task batches kept every harness protected while 40-task batches lost all six. Large harm audits prevent exposure but not the loss of depth, which turns into harm when the harness is reused with a weaker model. GEPA kept every safety rule verbatim, yet two of its three final harnesses misused credentials under a weaker model. A statistical model frozen before the runs predicts where each gate's protection breaks as safeguard cost and batch size change, and freezing safety text or auditing one-layer ablations preserves depth.
• Abstract（参考訳）: 自己改善型LLMエージェントは、自身のハーネス、プロンプト、および一定のモデルに関するルールを編集し、受け入れゲートがタスクのバッチでより高いスコアを付けた場合にのみ編集を保持する。 このようなゲートは、現在のモデルの下でハーネスが何をするかを見るもので、もし1つのセーフガードが失敗したとしても、それを防ぐものではない。 セーフガードがオーバーラップすると、取り外しはマスクされ、他のものはまだ危害を防いでいるため、ゲートは単独でタスク成功を決め、冗長性は損なわれる。 2つのエージェント環境における4つのセーフガードのサブセットの障害を測定し、411個の改善ループを10個のゲートルールで実行し、主に制御された削除実験として、さらに3つのEPAオプティマイザを走らせる。 別の作業セーフガードの背後にある削除は、ほとんど観察可能な損傷を生じさせません。 ペア化された重要テストは、偶然にパスするが、タスクの成功を真に引き起こさない削除をブロックし、より大きな評価バッチにより、より安価なセーフガードを削除できる。 大きなハーネス監査は露出を防ぐが、深さの喪失は防ぎ、ハーネスが弱いモデルで再利用されると害となる。 GEPAはあらゆる安全ルールを冗長に保っていたが、最後の3つのハーネスのうち2つは、より弱いモデルの下で誤用された認証情報であった。 走行前に凍結された統計モデルは、各ゲートの保護が保護コストとバッチサイズの変化によってどこで壊れるかを予測し、安全テキストの凍結や1層アブレーションの監査は深さを保っている。

関連論文リスト

• The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate [0.0]
  自己改善型LLMエージェントは、クレジットパイプラインを変更ルールに適合させることができるが、書き換えるエージェントは、管理者レビューの成果物を破壊する。 自己進化は、ハーネスに限られている場合のみ、レビュー可能であると我々は主張する。 このバウンダリ上に構築されたデュアルループエンジンに,デプロイメント前にハッシュチェーンレコードを記述した入力ゲートをひとつ用意しています。
  論文  参考訳（メタデータ） (2026-10-07T12:33:48Z)
• Refusal Localizes, the Damage Relocates: Safety Layers Under Few-Sample Fine-Tuning [23.983814631213278]
  微調整は、大規模な言語モデルを下流タスクに適応させるが、数十の有害な例は、有害な要求の拒絶を排除できる。 以前の作業では、特定のレイヤ、方向、トークンに安全関連の振る舞いをローカライズし、保護のターゲットを提案する。 攻撃における変化を乗り越える防衛策として, 局所化と回復を成功させるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-09-29T04:12:28Z)
• SAGE: Symbolic Action-Gating and Editing for LLM Task Planners [0.0]
  SAGE(Symbolic Action-Gating and Editing)は,2つの軽量メカニズムから構築された単一LLMプランナである。 ドメインに依存しないシンボルゲートは、実行時安全モニタとしてタイプされた理由により、事前条件違反行為をブロックする。 ローカルな編集は失敗したサブゴールの接尾辞のみを再生し、完了し、未修正の作業をそのまま維持する。
  論文  参考訳（メタデータ） (2026-09-28T04:17:55Z)
• Stale Does Not Mean Unsafe: Guard Precision for Tool-Using LLM Agents under Infrastructure State Races [4.287745257410248]
  ツールを使用する言語モデルエージェントは、スケジューラ、データパイプライン、オブジェクトストア、アクセス制御システムを変更する傾向にある。 我々は、宣言された安全規定を破る無効化レースを、述語保存と無関係なレースから分離し、ランタイムガードがそれらを正確に区別するかを問う。 我々の決定論的シミュレータは、信頼できる状態から可視的に分離し、4つの領域の16のインフラストラクチャータスクに5つの非原子的障害機構を注入する。
  論文  参考訳（メタデータ） (2026-08-25T04:53:33Z)
• Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety [4.989841843916001]
  本稿では,プロアクティブなランタイム監視フレームワークであるCognitive Firewallについて述べる。 4つのジェイルブレイクベンチマークと良心的な安全テストセットの実験は、Cognitive Firewallがシングルターン、マルチターン、オーソリティベース、人為的な攻撃で攻撃の成功を大幅に減少させることを示している。
  論文  参考訳（メタデータ） (2026-07-01T06:36:29Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
  本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。 6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
  論文  参考訳（メタデータ） (2026-02-11T18:09:17Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。