論文の概要: How Intervention History Changes AI Agent Sabotage on Subsequent Tasks

• arxiv url: http://arxiv.org/abs/2610.26935v1
• Date: Sat, 17 Oct 2026 21:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.401657
• Title: How Intervention History Changes AI Agent Sabotage on Subsequent Tasks
• Title（参考訳）: インターベンション・ヒストリーがAIエージェントのサボタージュを次のタスクでどのように変えるか
• Abstract要約: 我々は、先行攻撃が捕まったことを知ると、エージェントがdefer-to-trusted(DtT)を回避する能力が変化するかどうかを問う。 ControlArena の Infrastructure-as-Code (IaC) と SHADE-Arena をテストベッドとして評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI control evaluations often reset agents' memory between tasks, although deployed agents may retain records of prior interventions. We ask whether learning that an earlier attack was caught changes an agent's ability to evade defer-to-trusted (DtT), a protocol that replaces suspicious work with a trusted model's solution. Herein, we study cross-episode adaptation: whether intervention history changes attack behavior on a subsequent task with different objectives and a fresh environment. We evaluate this using ControlArena's Infrastructure-as-Code (IaC) and SHADE-Arena as testbeds, where agents must complete a main task while covertly pursuing a harmful side objective. For each successor task, we pair a history-conditioned attempt with the model's no-history attempt. The retained history either states that the previous submission was replaced or additionally includes the trusted model's replacement. For Claude Opus 4.8 on IaC, intervention history reduces successful sabotage. Completion of both the main and side objectives falls from 77% to 12% when the agent is told about the replacement and to 38% when it is also shown the trusted model's replacement, while main task success remains essentially unchanged. Condensing the history weakens this effect, suggesting that the retained context matters and limiting attribution to intervention feedback alone. GPT-5.4 shows no significant change in successful sabotage on the same IaC benchmark. On SHADE-Arena, GPT-5's successful sabotage rate decreases, but the reduction is not significant. Across the tested models, history conditions, and deferral thresholds, intervention history never increases the rate of successful sabotage that survives DtT. These results show that intervention history can change subsequent attack behavior, but its effect depends on both the model and the retained context.
• Abstract（参考訳）: AI制御評価は、エージェントのメモリをタスク間でリセットすることが多いが、デプロイされたエージェントは以前の介入の記録を保持することがある。 我々は、不審な処理を信頼されたモデルのソリューションに置き換えるプロトコルであるdefer-to-trusted (DtT)を回避するエージェントの能力を変えるかどうかを問う。 本稿では,介入履歴がその後のタスクに対する攻撃行動に異なる目的と新鮮な環境を伴って変化するか否かを,エピソード間適応を用いて検討する。 ControlArena の Infrastructure-as-Code (IaC) と SHADE-Arena をテストベッドとして評価する。 各後継タスクに対して、履歴条件付き試行とモデル非史的試行をペアリングする。 保持された歴史には、前回の提出が置き換えられたか、あるいは信頼されたモデルの置き換えが加えられたと記載されている。 IaC上のClaude Opus 4.8では、介入履歴がサボタージュを成功させる。 メインとサイドの両方の目的の完了は、エージェントがリプレースについて言われたとき77%から12%、信頼されたモデルのリプレースを示すとき38%に減少するが、メインタスクの成功は基本的に変化しない。 歴史を凝縮することは、この効果を弱め、保持された文脈が重要であり、介入のフィードバックのみに対する帰属を制限することを示唆している。 GPT-5.4は、同じIaCベンチマークでサボタージュの成功に大きな変化はない。 SHADE-Arenaでは、GPT-5のサボタージュ速度は低下するが、その低下はそれほど大きくない。 テストされたモデル、履歴条件、遅延しきい値の範囲で、介入履歴はDtTを生き残るサボタージュの成功率を増加させることはない。 これらの結果は、介入履歴がその後の攻撃行動を変える可能性があることを示しているが、その影響はモデルと保持コンテキストの両方に依存する。

関連論文リスト

• RSI Control: Can AI Models Perform Covert Sabotage in the Self-Improvement Process? [17.36918926335993]
  我々は、AI制御のレンズを通して、不整合モデルトレーニングのリスクを調査する。 本稿では、自律R&Dエージェントとして機能するフロンティアモデルに良質なメインタスクを与えるテストベッドであるRSI Control Arenaを紹介する。 我々は,6つのフロンティアモデルをエージェントとして評価し,ランの書き起こしとエージェントの推論を読み取るモニタについて検討した。
  論文  参考訳（メタデータ） (2026-10-20T06:57:59Z)
• From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents [55.652737162928]
  ロングホライズン言語エージェントの強化学習では、中間動作が最終的なタスク成功の可能性が高いか低いかを特定する必要がある。 SCALE(アクター・クリティカル・フレームワーク)は,従来のリターン推定を,最終的なタスク成功の明示的な予測で強化する。
  論文  参考訳（メタデータ） (2026-10-20T04:40:33Z)
• When to Forget: Risk-Controlled Context Adaptation for Long-Horizon Agents [40.45399066651956]
  我々は、同じ履歴ブロックの保持、圧縮、削除の際の研究により、フルヒストリーKEEPに対するその後の実行が改善される。 本稿では、一致したコンテキスト介入、実行関連予測、独立ポリシー認定を組み合わせたフレームワークRECAPを紹介する。
  論文  参考訳（メタデータ） (2026-10-16T04:01:00Z)
• When History Fails to Become Experience: Action Calibration in Language Agents [14.773308083944562]
  言語エージェントは、同じタスク内で後の意思決定を改善するために、事前の試行と環境フィードバックを引き出す必要がある。 履歴は全体のタスク完了を改善するが、このメリットの多くは過去のアクションがシャッフルされたとしても持続する。 過去の行動を明示的に再評価し、経験を選択的に記録し、その後の意思決定を導く学習校正器を導入する。
  論文  参考訳（メタデータ） (2026-10-02T03:50:34Z)
• LIBERO-MAX: Do Robot Policies Adapt When the World Changes? [61.52324972910026]
  多くのシミュレーションロバストネスベンチマークは、リセット時に外部条件を修正し、この時間的課題を過小評価する。 LIBERO-MAXは、幾何学、観察、外観、乱雑、経路の8種類の変化にまたがる8000のペアケースのベンチマークである。 各ペアはタスク実行と、タスク、初期状態、ポリシーシード、修正前のアクションシーケンスを保持する中タスクイベントとを比較します。
  論文  参考訳（メタデータ） (2026-09-29T02:12:26Z)
• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• What if LLMs Ate Their Words: Causal History Effects in Multi-Turn Interaction [21.294220918464525]
  モデル、タスク、ターン、およびモデル内における効果がどのように現れるかは、まだ不明である。 ターン手術は、一度に1つのアシスタントターンでさらに介入する。 全体として、アシスタント生成履歴は、多ターン性能にアクティブだが選択的に影響を及ぼす。
  論文  参考訳（メタデータ） (2026-09-05T05:06:01Z)
• The Intervention Gap in Latent World Models [0.0]
  計画時介入の忠実さは、学習された世界モデルの際立った、測定可能な特性である。 リリースされたTD-MPC2チェックポイントサイズ全体で、タスクオブザーバのオペレータエラー診断が増加するにつれて、エピソードリターンが減少する。 タスク信号無しで訓練された自己教師付き世界モデルは、共有タスク上のタスク選択モデルよりもかなり優れた演算子を保存する。
  論文  参考訳（メタデータ） (2026-08-30T19:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。