論文の概要: Metal Sandbox: Isolated Execution and Command Scheduling for GPU Coding Agents on Apple Silicon
- arxiv url: http://arxiv.org/abs/2611.17294v1
- Date: Thu, 12 Nov 2026 18:54:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.594277
- Title: Metal Sandbox: Isolated Execution and Command Scheduling for GPU Coding Agents on Apple Silicon
- Title(参考訳): Metal Sandbox: Apple Silicon上のGPUコーディングエージェントの分離された実行とコマンドスケジューリング
- Abstract要約: 制限されたインスタンスごとのファイルアクセス、ネイティブコマンド実行、コマンドレベルのスケジューリングを組み合わせたインフラストラクチャであるMetal Sandboxを紹介します。
4つのMac mini M4ノードの制御された実験は、集中需要下でコマンドスループットのゲインを1.68タイム$-$2.05タイム$を達成する。
- 参考スコア(独自算出の注目度): 70.70012125721817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-device inference requires kernels that make effective use of local accelerators. Efficient training and evaluation of models that generate Apple Metal kernels benefit from native macOS tools and concurrent agent sessions. These sessions alternate between model requests, development commands, and GPU execution, leaving GPU capacity idle for much of a rollout. We present Metal Sandbox, infrastructure that combines restricted per-instance file access, native command execution, and command-level scheduling across interconnected Macs. Each agent retains its workspace and private development environment. Parallel commands can run concurrently, while serial commands share one execution slot per node; eligible waiting commands can migrate to available Macs and return results to the original agent. Integration with Harbor supports task execution, automatic verification, and rollout collection through a common workflow. Controlled experiments on four Mac mini M4 nodes achieve $1.68\times$--$2.05\times$ gains in command throughput under concentrated demand. Sixteen static agent traces give an estimated $2.14\times$ sustained-throughput gain for four sessions per node versus one, assuming continuously replenished sessions and unchanged mean durations. Replaying these measured traces under dynamic scheduling reduces mean tool waiting by 18.8% and batch elapsed time by 22.3%, assuming unchanged phase durations. Metal Sandbox and its Harbor integration are open-source on GitHub.
- Abstract(参考訳): デバイス上の推論には、ローカルアクセラレータを効果的に利用するカーネルが必要である。
Apple Metalカーネルを生成するモデルの効率的なトレーニングと評価は、ネイティブのmacOSツールと並行エージェントセッションの恩恵を受ける。
これらのセッションは、モデル要求、開発コマンド、GPU実行の間で交互に行われ、GPUキャパシティはロールアウトの大部分をアイドル状態にしている。
我々は,制限されたインスタンス単位のファイルアクセス,ネイティブコマンド実行,相互接続されたMac間のコマンドレベルスケジューリングを組み合わせたインフラストラクチャであるMetal Sandboxを提案する。
各エージェントはワークスペースとプライベート開発環境を保持します。
並列コマンドは同時実行が可能で、シリアルコマンドはノード毎に1つの実行スロットを共有している。
Harborとの統合は、タスクの実行、自動検証、共通のワークフローによるロールアウトコレクションをサポートする。
4つのMac mini M4ノードの制御された実験は、集中需要下でコマンドスループットが1.68\times$-2.05\times$ゲインを得る。
16の静的エージェントトレースは、1ノードあたりの4セッションに対して2.14\times$持続的なスループットゲインを与える。
動的スケジューリングの下でこれらの測定されたトレースを再生すると、平均ツールの待ち時間が18.8%減少し、バッチが22.3%減少する。
Metal SandboxとHarborの統合はGitHubで公開されている。
関連論文リスト
- SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳(メタデータ) (2026-11-02T04:21:47Z) - Ripple: Deadline-Aware CPU-GPU Sharing for Embodied Inference [8.07015804557532]
本稿では、モデル由来のGPUメモリボリュームとCPU完了フィードバックを組み合わせて干渉を制御するCPU-GPU共スケジューリング器Rippleを紹介する。
Rippleはテスト済みの期限設定で、2%のCPUデッドラインミス目標とVLMデッドラインを一貫して満たしている。
論文 参考訳(メタデータ) (2026-10-31T16:06:36Z) - AOS-Bench: Can LLM Agents Manage Dynamic Workloads? [34.49392463658206]
コーディングエージェントは、一度にひとつのリクエストを処理するものから、ユーザが作業ストリームを渡す永続的なアシスタントとして機能するものへと移行している。
既存のベンチマークでは、各タスクを独立して評価するため、これを測定することはできない。
本稿では,エージェントシステムをワークロードマネージャとして評価するAOS-Benchを紹介する。
論文 参考訳(メタデータ) (2026-10-23T18:20:48Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳(メタデータ) (2026-10-06T16:35:28Z) - Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。
Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
論文 参考訳(メタデータ) (2026-08-19T17:33:28Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳(メタデータ) (2026-05-11T17:49:43Z) - Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving [1.4573878379102423]
Revatiはリアルタイムシステムコードをシミュレーションライクな速度で直接実行することで、パフォーマンスモデリングを可能にするタイムワープエミュレータである。
Revatiは、実際のGPU実行よりも5~17倍高速で実行しながら、複数のモデルと構成で5%未満の予測エラーを達成する。
論文 参考訳(メタデータ) (2026-01-01T17:19:58Z) - MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。
バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。
MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
論文 参考訳(メタデータ) (2024-08-21T16:10:41Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳(メタデータ) (2024-05-28T22:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。