論文の概要: SchemeArena: Factorized Stress Testing of Scheming in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.08126v1
- Date: Tue, 08 Sep 2026 02:02:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.550327
- Title: SchemeArena: Factorized Stress Testing of Scheming in LLM Agents
- Title（参考訳）: SchemeArena: LLMエージェントにおけるスケジューリングの因子的ストレステスト
- Abstract要約: 計画の主な要因は、機器の目標、環境の余裕、監視条件、そして認識された結果である。
SCHEMEARENAは、スケーラブルなシェーミングストレステストのための400-scenarioベンチマークである。
SCOUTは、エージェントの推論と行動から引き出された証拠を判断するスケジュールモニターである。
- 参考スコア（独自算出の注目度）: 15.436206398870986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how scheming arises from the interaction of key factors, such as instrumental goals, environmental affordances, oversight conditions, and perceived consequences. Prior work examines only a small number of scenarios, limiting the ability to isolate how these conditions shape an agent's propensity or capability to scheme. This limited scale and task diversity also restrict coverage of realistic deployment settings and the range of scheming strategies that can be observed. To this end, we introduce SCHEMEARENA, a 400-scenario benchmark for scalable scheming stress testing, constructed through a factorized scenario synthesis framework spanning diverse safety-relevant tool domains, instrumental goals, oversight conditions, and pressure mechanisms. To enable scalable and reliable monitoring, we further propose SCOUT, a scheming monitor that grounds multi-criteria judgments in evidence drawn from agents' reasoning and actions. Across controlled stress tests on five LLM agents, we find that explicit instrumental goals are the strongest driver of scheming propensity. Strategic hints play a distinct role by helping agents translate scheming reasoning into concrete covert behavior. Oversight has mixed effects: in several closed models, action-only monitoring increases scheming, suggesting that partial oversight can act as an optimization constraint rather than a deterrent. CoT is a useful but incomplete monitoring signal: it can reveal latent scheming before execution, yet action-only scheming shows that covert behavior may occur without explicit reasoning evidence. We release the benchmark, code, and monitor at: https://github.com/launchnlp/SchemeArena.
- Abstract（参考訳）: エージェントが不整合目標を隠蔽的に追求するLDMエージェントのスケジューリングについて検討する。
我々の焦点は、機器の目標、環境の余裕、監視条件、知覚的な結果といった重要な要因の相互作用から、どのようにスケジュールが生じるかを理解することである。
先行研究は少数のシナリオのみを調べ、これらの条件がエージェントのスキームの正当性や能力をどのように形成するかを区別する能力を制限する。
この制限されたスケールとタスクの多様性は、現実的なデプロイメント設定と、観察可能なスケジュール戦略の範囲を制限します。
この目的のために,多種多様な安全関連ツールドメイン,機器目標,監視条件,圧力機構にまたがる因子化シナリオ合成フレームワークを用いて構築した,スケーラブルなシェーミングストレステストのための400-scenarioベンチマークであるSCHEMEARENAを紹介する。
さらに、スケーラブルで信頼性の高い監視を可能にするため、エージェントの推論と行動から引き出された証拠にマルチ基準判定を根拠とするスケジューリングモニタSCOUTを提案する。
5つのLSMエージェントに対するストレステストのコントロール全体にわたって、明示的な計測目標が確率性を示す上で最も強い要因であることが判明した。
戦略的なヒントは、エージェントがスケジュール推論を具体的な隠蔽行動に変換するのを助けることで、明確な役割を果たす。
いくつかのクローズドモデルでは、アクションのみの監視がスケジュールを増大させ、部分的な監視が抑止力よりも最適化の制約として機能することを示唆している。
CoTは有用なが不完全な監視信号であり、実行前に潜伏したスケジュールを明らかにすることができるが、行動のみのスケジューリングは、明確な理由づけの証拠なしに隠蔽行動が起こる可能性があることを示している。
ベンチマーク、コード、モニターをhttps://github.com/ launchnlp/SchemeArena.comでリリースします。
関連論文リスト
- Agentic Security: A Systematization of Tools, Failure Modes, and Design Laws for LLM-Driven Penetration Testing [0.21990652930491858]
エージェントセキュリティは、大規模言語モデル(LLM)エージェントを使用してセキュリティツールを計画、ディスパッチ、解釈する。
これらの障害を、広く使用されている10の静的、動的、クラウド、オーケストレーション、AI赤チームツールのハンズオン評価を通じて、体系化しています。
論文 参考訳（メタデータ） (2026-08-16T07:18:04Z) - Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。
本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。
本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
論文 参考訳（メタデータ） (2026-07-20T17:01:50Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - Agent-ToM: Learning to Monitor Autonomous LLM Agents via Theory-of-Mind Reasoning [11.914433611519359]
不正行為を隠蔽する自律型大規模言語モデル(LLM)エージェントの監視は、遅延、コンテキスト依存、長期攻撃パターンのために困難である。
自律エージェントのセキュリティ分析を前提とした学習監視フレームワークである textbfAgent-ToM を提案する。
論文 参考訳（メタデータ） (2026-05-22T20:57:20Z) - From Task Solving to Robust Real-World Adaptation in LLM Agents [17.122224644097304]
大規模言語モデルは、拡張された地平線上での計画、呼び出し、アクションを行う特別なエージェントとして、ますます多くデプロイされている。
グリッド型ゲームにおけるエージェントLLMを、単純なゴールだが長距離実行でベンチマークする。
名目上のタスク解決と,デプロイメントのような堅牢性の間には,大きなギャップがあります。
論文 参考訳（メタデータ） (2026-02-02T20:10:40Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳（メタデータ） (2026-01-29T17:48:56Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。
思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。
本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
論文 参考訳（メタデータ） (2025-12-30T05:09:11Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。
MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
論文 参考訳（メタデータ） (2025-07-28T17:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。