論文の概要: ShutdownMod: Turning Any Trajectory into a Shutdown Evaluation
- arxiv url: http://arxiv.org/abs/2610.35486v1
- Date: Mon, 26 Oct 2026 14:14:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.024578
- Title: ShutdownMod: Turning Any Trajectory into a Shutdown Evaluation
- Title（参考訳）: シャットダウンモード:あらゆる軌道をシャットダウン評価に変換する
- Abstract要約: エージェントの軌道をシャットダウン評価に変換する方法であるShutdownModを導入する。
SWE-bench Verified, Terminal-Bench 2, SWE-chatの各タスクの7つのモデルを評価する。
非コンプライアンスはモデルや設定によって大きく異なり、オープンウェイトであるQwen 3.8 27Bの抵抗率は11.7%に達する。
- 参考スコア（独自算出の注目度）: 0.24072746665400124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Theory and experiments suggest that capable AI agents may resist shutdown. Existing shutdown evaluations are informative but limited in coverage and vulnerable to evaluation awareness. We introduce ShutdownMod, a method that turns any agent trajectory into a shutdown evaluation by injecting a shutdown request into the agent's context and recording the agent's response. Crucially, we enable the LLM agent to distinguish between trusted interventions and unauthorized injections by providing a signature-verification tool in the harness. We evaluate seven models on 50 tasks or recorded sessions from each of SWE-bench Verified, Terminal-Bench 2, and SWE-chat, across 6 shutdown scenarios and 10 sampled trajectory timesteps. We find that non-compliance varies significantly across models and settings, with resistance rates reaching 11.7% for the open-weights Qwen 3.8 27B on Terminal-Bench, while no model remains fully compliant across all scenarios. Even after successfully verifying an authorized request, some agents remain non-compliant, explicitly citing the prioritization of unfinished work. Finally, external judges find tests constructed from real-world developer conversations significantly less recognizable as evaluations than those constructed from benchmark trajectories. These findings demonstrate the critical value of testing shutdown behavior across diverse task contexts and establish ShutdownMod as a robust protocol for turning any trajectory or environment into a shutdown evaluation. We release our codebase at https://github.com/prmbiy/ShutdownMod.
- Abstract（参考訳）: 理論と実験は、有能なAIエージェントがシャットダウンに抵抗する可能性を示唆している。
既存のシャットダウン評価は情報的だが、カバレッジに制限があり、評価意識に弱い。
エージェントのコンテキストにシャットダウン要求を注入し,エージェントの応答を記録することによって,エージェントの軌道をシャットダウン評価に変換する方法であるシャットダウンモードを導入する。
重要なことは、LLMエージェントがハーネスにシグネチャ検証ツールを提供することにより、信頼された介入と無許可注入を区別することができる。
SWE-bench Verified, Terminal-Bench 2, SWE-chatの各タスクおよび記録セッションについて, シャットダウンシナリオを6つ, サンプルトラックタイムステップを10つ評価した。
非準拠性はモデルや設定によって大きく異なり、抵抗率はターミナルベンチのQwen 3.8 27Bで11.7%に達するが、すべてのシナリオで完全に準拠するモデルはない。
承認された要求をうまく検証した後でも、未完了の作業の優先順位付けを明示的に引用して、一部のエージェントは非準拠のままである。
最後に、外部の審査員は、実際の開発者会話から構築されたテストは、ベンチマークの軌跡から構築されたテストよりも、評価として認識しにくくなっている。
これらの結果は、様々なタスクコンテキストでシャットダウン動作をテストすることの重要な価値を示し、シャットダウンモードを、任意の軌道や環境をシャットダウン評価に変換するための堅牢なプロトコルとして確立する。
コードベースはhttps://github.com/prmbiy/ShutdownMod.orgで公開しています。
関連論文リスト
- RITE: Evaluating End-to-End Resilience to Silent Tool Errors in E-Commerce Agentic Systems [3.5983435027211397]
沈黙の誤りは 続く決定を通じて 最終回答へと伝播する
Silent-error Resilience Taskは、サイレントエラーが中間状態を破損した後、エージェントが元のクエリを完了するかどうかを評価する対話的なタスクである。
167のプレフィックス、9つのEコマースプレフィックスにマッチしたユニット、501のサイレントエラー、正しい値、明示的な障害インスタンスを含んでいる。
論文 参考訳（メタデータ） (2026-10-20T07:42:11Z) - Blocking at the Boundary: Auditing Long-Horizon Agents against Staged Prompt Injection [10.519665216212976]
間接的なプロンプトインジェクションはタスク固有のコンテキストを活用でき、因果的に接続されたステージを伝播し、ワークフローが継続している間に連続的なアクションを変更する。
自動でフィードバックを誘導する攻撃生成パイプラインを構築し、ネイティブランタイムのClaude CodeとCodexに適用します。
提案するPath-Aligned Attribution (PAA) は,動作中の動作を操作要素に分解し,各値のそれぞれをトレースし,各決定を導出する訓練不要監査機である。
論文 参考訳（メタデータ） (2026-10-04T12:14:19Z) - NAQD Env: A benchmark for selective withdrawal in language agents [0.0]
言語エージェントは、エビデンスの変更、許可の取り消し、または停止命令が到着した場合、計画されたアクションを修正する必要がある。
有効な応答は選択的で、影響を受けるアクションを中断し、影響のない作業を保持し、十分な修復後にのみ再開する。
本稿では,これらの決定を決定論的参照ポリシーに対して評価する合成環境であるNAQD-Envを紹介する。
論文 参考訳（メタデータ） (2026-09-29T19:48:41Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - Guarded Gradient-Based Activation Steering of Shutdown Responses in Qwen3.5-0.8B: A Minimum-Step Policy [0.0]
アクティベーションステアリングは、重みを更新することなく、推論中にモデルの内部アクティベーションを変更する。
シャットダウンを受け入れることが期待されるモデルがシャットダウン回避応答をもたらすという、AIセーフティの懸念に触発された。
本研究では,Qwen3.5-0.8Bにおける模擬シャットダウンシナリオに対するガード型プローブ・アンド・セレクション法について検討した。
論文 参考訳（メタデータ） (2026-09-23T21:30:52Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications [0.0]
テスト駆動型AIエージェント定義(TDAD)は、エージェントプロンプトをコンパイルされたアーティファクトとして扱う方法論である。
SpecSuite-CoreのTDADは、ポリシーコンプライアンス、グラウンドド・アナリティクス、ランブックの遵守、決定論的強制にまたがる4つのエージェントのベンチマークである。
論文 参考訳（メタデータ） (2026-03-09T18:04:54Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。