論文の概要: LinuxArena: A Control Setting for AI Agents in Live Production Software Environments
- arxiv url: http://arxiv.org/abs/2604.15384v1
- Date: Thu, 16 Apr 2026 03:01:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.576624
- Title: LinuxArena: A Control Setting for AI Agents in Live Production Software Environments
- Title（参考訳）: LinuxArena: ライブプロダクションソフトウェア環境におけるAIエージェントの制御設定
- Authors: Tyler Tracy, Ram Potham, Nick Kuhn, Myles Heller, Anshul Khandelwal, Cody Rushing, Henri Lemoine, Miguel Brandao, Tomas Turlik, Adam Hanson, Josh Hills, Amy Ngo, Ram Rachum, Nik Mitchell, Falko Galperin, Oscar Sykes, Pip Arnott, Samuel Prieto Lima, Carlos Giudice, Matt Goldwater, Daniel Popp, Drew de Wet, Ruben Castaing, Qi Guo, Douw Marx, Benjamin Shaffrey, Justin Shenk, Martin Milbradt, Hannah Meagher, Shaheen Ahmed-Chowdhury, Daniel O'Connell, Chris Canal, Buck Shlegeris, Aryan Bhatt,
- Abstract要約: LinuxArenaは、エージェントが実運用環境で直接動作するコントロール設定である。
LinuxArenaには、20の環境、正統なソフトウェアエンジニアリング作業を表す1,671のメインタスク、安全障害を表す184のサイドタスクが含まれている。
我々は、LinuxArenaがサボタージュ評価を実行し、サボタージュ試行を検知するモニターモデルの能力を測定することで、制御研究に有用であることを検証した。
- 参考スコア（独自算出の注目度）: 11.33890221858001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce LinuxArena, a control setting in which agents operate directly on live, multi-service production environments. LinuxArena contains 20 environments, 1,671 main tasks representing legitimate software engineering work, and 184 side tasks representing safety failures such as data exfiltration and backdooring, making it the largest and most diverse control setting for software engineering to date. We validate LinuxArena is useful for control research by running sabotage evaluations, which measure whether attackers can complete side tasks while working on main tasks, and monitor evaluations, which measure a monitor model's ability to detect sabotage attempts. Against a GPT-5-nano trusted monitor at a 1\% step-wise false positive rate, Claude Opus 4.6 achieves roughly a 23% undetected sabotage success rate. We additionally release LaStraj, a dataset of human-crafted attack trajectories that evade monitors at substantially higher rates than any model-generated attacks we elicited, showing that current attack policies do not saturate LinuxArena. These results suggest that LinuxArena has meaningful headroom for both attackers and defenders, making it a strong testbed for developing and evaluating future control protocols.
- Abstract（参考訳）: LinuxArenaは,エージェントが実運用環境やマルチサービス環境で直接動作する制御環境である。
LinuxArenaには、20の環境、1,671の主要なタスク、データ流出やバックドアなどの安全上の障害を表す184のサイドタスクが含まれており、ソフトウェアエンジニアリングにおいてこれまでで最大かつ最も多様なコントロール設定となっている。
攻撃者がメインタスクを実行中にサイドタスクを完了できるかを計測し、監視モデルのサボタージュ試行を検知する能力を測定する。
GPT-5-nano信頼モニタのステップワイド偽陽性率に対して、Claude Opus 4.6は23%の未検出サボタージュ成功率を達成した。
さらにLaStrajもリリースしています。これは人為的な攻撃トラジェクトリのデータセットで、私たちが引き起こしたモデル生成攻撃よりもかなり高いレートでモニターを回避することで、現在の攻撃ポリシーがLinuxArenaを飽和させていないことを示しています。
これらの結果から,LinuxArenaは攻撃者および防御者双方にとって有意義なヘッドルームであり,将来の制御プロトコルの開発と評価のための強力なテストベッドとなることが示唆された。
関連論文リスト
- TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol [1.0195618602298684]
TraceGuardは5次元にわたるエージェントアクションを評価する構造化多次元監視プロトコルである。
オープンソースのControlArenaフレームワーク用の新しいモニタタイプとして実装されている。
論文 参考訳（メタデータ） (2026-04-05T05:05:59Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - MirrorGuard: Toward Secure Computer-Use Agents via Simulation-to-Real Reasoning Correction [16.58862217164395]
実世界のCUAセキュリティを改善するためにシミュレーションベースのトレーニングを利用するプラグアンドプレイディフェンスフレームワークであるMirrorGuardを紹介する。
MirrorGuard氏は、CUAの安全でない推論チェーンをインターセプトし、修正して、安全でないアクションを生成し、実行することを学ぶ。
我々の研究は、シミュレーションによる防御は、エージェントの基本的な実用性を維持しながら、堅牢で現実世界の保護を提供することができることを証明している。
論文 参考訳（メタデータ） (2026-01-19T08:32:09Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - BashArena: A Control Setting for Highly Privileged AI Agents [1.685485565763117]
セキュリティクリティカルな環境でAI制御技術を研究するための環境であるBashArenaを紹介する。
BashArenaには637のLinuxシステム管理とインフラストラクチャエンジニアリングタスクが含まれている。
我々は,複数のフロンティアLSMを,タスクを完了し,検出されていないサボタージュを実行し,サボタージュの試みを検出する能力で評価した。
論文 参考訳（メタデータ） (2025-12-17T18:45:25Z) - Async Control: Stress-testing Asynchronous Control Measures for LLM Agents [2.7146936326590425]
非同期モニタリングにおいて,モニタリングシステムがエージェントの動作を後回しにレビューする手法について検討する。
同期監視とは異なり、このアプローチは実行時のレイテンシを課すことなく、不可逆的な害が起こる前に攻撃を妨害しようとする。
私たちは、モニター開発を、ブルーチーム(モニターを設計する)とレッドチーム(破壊エージェントを作成する)の敵対的なゲームとして扱う。
論文 参考訳（メタデータ） (2025-12-15T16:56:28Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Measuring Harmfulness of Computer-Using Agents [14.509501604704127]
コンピュータ利用エージェント(CUA)は、コンピュータを自律的に制御し、マルチステップアクションを実行する。
CUAHarmは104名の専門家による現実的な誤用リスクで構成されている。
GPT-5, Claude 4 Sonnet, Gemini 2.5 Pro, Llama-3.3-70B, Mistral Large 2などのフロンティア膜の評価を行った。
論文 参考訳（メタデータ） (2025-07-31T07:02:19Z) - OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。
OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。
我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
論文 参考訳（メタデータ） (2025-06-17T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。