論文の概要: HiveMind: OS-Inspired Scheduling for Concurrent LLM Agent Workloads
- arxiv url: http://arxiv.org/abs/2604.17111v1
- Date: Sat, 18 Apr 2026 18:59:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.338714
- Title: HiveMind: OS-Inspired Scheduling for Concurrent LLM Agent Workloads
- Title(参考訳): HiveMind: 並行LLMエージェントワークロードのためのOSインスパイアされたスケジューリング
- Authors: Justice Owusu Agyemang, Jerry John Kponyo, Obed Kwasi Somuah, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum,
- Abstract要約: モチベーションのインシデントでは、11の並列エージェントのうち3つがコネクションリセットとHTTP 502エラーで死亡しました。
HIVEMINDは5つのOSにインスパイアされたスケジューリングプリミティブを適用し,非協調並列実行による障害モードを除去する透過的なHTTPプロキシである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When multiple LLM coding agents share a rate-limited API endpoint, they exhibit resource contention patterns analogous to unscheduled OS processes competing for CPU, memory, and I/O. In a motivating incident, 3 of 11 parallel agents died from connection resets and HTTP 502 errors - a 27% failure rate - despite the API having sufficient aggregate capacity to serve all 11 sequentially. We present HIVEMIND, a transparent HTTP proxy that applies five OS-inspired scheduling primitives - admission control, rate-limit tracking, AIMD backpressure with circuit breaking, token budget management, and priority queuing - to eliminate the failure modes caused by uncoordinated parallel execution. The proxy requires zero modifications to existing agent code and supports Anthropic, OpenAI, and local model APIs via auto-detected provider profiles. Our evaluation across seven scenarios (5-50 concurrent agents) shows that uncoordinated agents fail at 72-100% rates under contention, while HIVEMIND reduces failures to 0-18% and eliminates 48-100% of wasted compute. An ablation study reveals that transparent retry - not admission control - is the single most critical primitive, but the primitives are most effective in combination. Real-world validation against Ollama confirms that HIVEMIND adds under 3ms of proxy overhead per request. The system is open-source under the MIT license.
- Abstract(参考訳): 複数のLDMコーディングエージェントがレート制限APIエンドポイントを共有すると、CPU、メモリ、I/Oと競合する未スケジュールのOSプロセスに類似したリソース競合パターンを示す。
モチベーションのあるインシデントでは、11の並列エージェントのうち3つが、コネクションリセットとHTTP 502エラー(障害率27%)で死亡した。
入出力制御,レートリミットトラッキング,回路破壊を伴うAIMDバックプレッシャ,トークン予算管理,優先度キューなど,5つのOSにインスパイアされたスケジューリングプリミティブを適用した透過的なHTTPプロキシであるHIVEMINDを,非コーディネート並列実行による障害モードを排除する。
プロキシは、既存のエージェントコードの変更をゼロにし、自動検出されたプロバイダプロファイルを介して、Anthropic、OpenAI、およびローカルモデルAPIをサポートする。
コンカレントエージェントを7つのシナリオ(5-50)で評価したところ,非コーディネートエージェントは72-100%の速度で競合する一方,HIVEMINDはエラーを0-18%まで低減し,48-100%の無駄な計算を排除した。
アブレーション研究では、入場制御ではなく透明な再試行が、最も重要なプリミティブであることが明らかになったが、プリミティブは組み合わせて最も効果的である。
Ollamaに対する現実の検証では、HIVEMINDがリクエスト毎に3ms以下のプロキシオーバーヘッドを追加することが確認されている。
このシステムはMITライセンス下でオープンソースである。
関連論文リスト
- FLARE: Agentic Coverage-Guided Fuzzing for LLM-Based Multi-Agent Systems [9.562231408217281]
マルチエージェントLLMシステム(MAS)はタスクをサブタスクに分割することで複雑なヒューマンタスクを自動化するために採用されている。
MASアプリケーションは無限ループや失敗したツール呼び出しなど、頻繁に障害に遭遇する。
従来のソフトウェアテスト技術は、LLMエージェント仕様の欠如、MASの大規模な行動空間、意味に基づく正当性判定の欠如により、そのような障害を検出するのに効果がない。
本稿では、MASに適した新しいテストフレームワークであるFLAREについて述べる。FLAREは、MASのソースコードを入力として、エージェント定義から仕様と行動空間を抽出する。
論文 参考訳(メタデータ) (2026-04-07T00:47:37Z) - AgentCgroup: Understanding and Controlling OS Resources of AI Agents [2.8139711959925244]
AIエージェントは、サンドボックスコンテナ内でさまざまなツールコールを実行するマルチテナントクラウド環境にますますデプロイされている。
サンドボックス型AI符号化エージェントにおけるOSレベルの資源動態の系統的特徴について述べる。
予備評価は, マルチテナント分離の改善と資源廃棄物の削減を実証する。
論文 参考訳(メタデータ) (2026-02-10T02:37:42Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18~28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30~60%を検証または否定する。
論文 参考訳(メタデータ) (2025-12-07T09:23:48Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳(メタデータ) (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。