論文の概要: Sandman: A Sandbox Service for Production Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.39711v2
- Date: Sat, 31 Oct 2026 00:48:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 02:41:45.010128
- Title: Sandman: A Sandbox Service for Production Agentic Reinforcement Learning
- Title（参考訳）: Sandman: エージェント強化学習のためのサンドボックスサービス
- Abstract要約: SandmanはAmazonで構築、運用されているサンドボックスサービスで、共有リソース上の大規模エージェントワークロードを運用する。
タスクイメージにマウントされた小さなデーモンは、呼び出し間でファイルやプロセスを保存する。
生産は2週間で112回のコーディングエージェントトレーニングのために3100万個のサンドボックスを作った。
- 参考スコア（独自算出の注目度）: 16.986314549158223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic reinforcement learning (RL) needs stateful environments for tool execution and evaluation. Training jobs request thousands of environments in bursts that can overwhelm shared cluster services, while cancelled or timed-out requests can leave resources running. We present Sandman, a sandbox service built and operated at Amazon for large-scale agentic RL workloads in production on shared Kubernetes. A small daemon mounted into unmodified task images preserves files and processes across calls. Sandman paces creation requests, checks sandbox readiness, and retains cleanup responsibility after callers time out or cancel. Production deployments created 3.1 million sandboxes for 122 coding-agent training runs in two weeks. Peak production concurrency was 11,858 sandboxes. In one 10,000-request multi-client burst, Sandman made half the sandboxes usable in 116 seconds and all in 308 seconds. Full delivery took 44% less time than a tuned configuration of agent-sandbox, an open-source sandbox manager for Kubernetes. Sandman left no sandboxes at client exit. On software-engineering task images, median no-op command latency was 2.0 ms, compared with 14.3 ms for agent-sandbox and 203.5 ms for OpenSandbox. We also measure provisioning costs and sandbox delays within training runs, and report design trade-offs and operational lessons from production use and comparisons with three open-source systems. We will open-source Sandman's daemon, provider and pool.
- Abstract（参考訳）: エージェント強化学習(RL)は、ツールの実行と評価のためのステートフルな環境を必要とする。
トレーニングジョブは、共有クラスタサービスに圧倒可能なバースト内の数千の環境を要求します。
SandmanはAmazonで開発、運用されているサンドボックスサービスで、共有Kubernetes上の大規模エージェントRLワークロードを運用します。
修正されていないタスクイメージにマウントされた小さなデーモンは、呼び出し間でファイルやプロセスを保存する。
Sandmanは作成要求をペーストし、サンドボックスの準備状況をチェックし、呼び出し者のタイムアウトやキャンセル後にクリーンアップの責任を保持する。
生産配備は2週間で112回のコーディングエージェントトレーニングを実行するために3100万個のサンドボックスを作成した。
ピーク・プロダクション・コンカレンシーは11,858個のサンドボックスであった。
1万回のマルチサイクルバーストで、サンドマンはサンドボックスの半分を116秒で使えるようにし、全部で308秒で使えるようにした。
フルデリバリは、Kubernetes用のオープンソースのサンドボックスマネージャである agent-sandbox のチューニング構成よりも、44%の時間を要した。
サンドマンはクライアントの出口にサンドボックスを残しませんでした。
ソフトウェアエンジニアリングのタスクイメージでは、中央値のno-opコマンド遅延は2.0msであり、エージェントサンドボックスは14.3ms、OpenSandboxは203.5msであった。
また、トレーニング実行中の供給コストとサンドボックス遅延を測定し、設計トレードオフと運用上の教訓を報告し、3つのオープンソースシステムと比較する。
Sandmanのデーモン、プロバイダ、プールをオープンソースにします。
関連論文リスト
- Scalable Weak-to-Strong Verifier Hardening for Agent Environments [30.10170718209991]
弱い検証器硬化に対するスケーラブルで完全自動的なアプローチを導入する。
まず、エージェントが直接修正できない独立したバリデーションサンドボックスをセットアップし、次にハッカー修正ループを使用して残りのバリデーション脆弱性を発見して修復する。
当社のHacker-fixerループの以前のバージョンは、公式のTerminal Benchリポジトリによって、その環境におけるエクスプロイトの監査方法として採用されました。
論文 参考訳（メタデータ） (2026-10-11T21:10:19Z) - Pincer: Resource Authorization for Agents using a Digital Twin [67.15317774522758]
Pincerは新しいディフェンスで、リソース層で動作し、オートモードのようなツールコール層で既存のディフェンスと連携する。
Pincerのコアにはデジタルツインがある。分離されたコンテキストモデルで、動的にユーザ固有の最小限のポリシーを自動的に学習し、強制する。
評価の結果,Pincerはいくつかのベースラインと比較して,セキュリティとユーティリティの両方に強く依存していることがわかった。
論文 参考訳（メタデータ） (2026-10-01T23:03:12Z) - Weird Machine Compositors: Exploiting AI Orchestration at the Expression Layer [0.0]
オーケストレーションプラットフォームは、サンドボックスの列挙とブロックを通じて、ユーザが提供する式を保護する。
これらのサンドボックスは、命令セットが基礎となる言語仕様である奇妙なマシンであることを実証する。
これらの発見は,オーケストレーション製品カテゴリ全体にわたって,サンドボックス障害の広範なパターンの中に置かれています。
論文 参考訳（メタデータ） (2026-09-27T09:49:02Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Sandlock: Confining AI Agent Code with Unprivileged Linux Primitives [5.253963000405894]
Sandlockは、単純な分割を中心に構成された軽量なLinuxプロセスサンドボックスである。
動的ネットワーク決定、HTTPレベルのアクセス制御、TOCTOUセーフなエグゼクティブ引数の検査、可逆効果をサポートする。
論文 参考訳（メタデータ） (2026-05-25T19:51:30Z) - Redefining AI Red Teaming in the Agentic Era: From Weeks to Hours [0.29342347743009217]
オープンソースDreadnode SDK上に構築されたAIレッドチームエージェントを紹介する。
エージェントは、接地された敵攻撃、450以上の変換、130以上のスコアを発生させる。
オペレータはマルチエージェントシステム、マルチ言語、ターゲットを探索し、実装方法ではなく、何をプローブすべきかに焦点を当てる。
論文 参考訳（メタデータ） (2026-05-05T17:43:52Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - ClawBench: Can AI Agents Complete Everyday Online Tasks? [50.958690494341106]
ClawBenchは153のシンプルなタスクの評価フレームワークで、人々が人生や仕事で定期的に達成する必要がある。
ClawBenchは本番Webサイトで動作し、実世界のWebインタラクションの完全な複雑さ、動的な性質、課題を保存する。
軽量なインターセプション層は、最終的なリクエストのみをキャプチャしてブロックし、現実世界の副作用なしに安全な評価を保証する。
論文 参考訳（メタデータ） (2026-04-09T17:57:13Z) - Quantifying Frontier LLM Capabilities for Container Sandbox Escape [1.6245103041408155]
大規模言語モデル(LLM)は、コードの実行、ファイルの読み書き、ネットワークへのアクセスといったツールを使用して、自律的なエージェントとして機能するようになっている。
これらのリスクを軽減するため、エージェントは一般的にデプロイされ、独立した"サンドボックス"環境で評価される。
オープンベンチマークであるSANDBOXESCAPEBENCHを導入する。
論文 参考訳（メタデータ） (2026-03-01T22:47:39Z) - EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis [101.67583081810136]
大規模言語モデル(LLM)は、様々な現実世界環境においてエージェントとして機能するよう訓練されることが期待されている。
このプロセスはリッチで多様なツール・インタラクション・サンドボックスに依存している。
スケーラブルなツールインタラクション環境のための自動化フレームワークであるEnvScalerを提案する。
論文 参考訳（メタデータ） (2026-01-09T14:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。