論文の概要: Superfluid: Local AI Server for Distributed LLM Inference
- arxiv url: http://arxiv.org/abs/2611.17753v1
- Date: Fri, 13 Nov 2026 05:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.306752
- Title: Superfluid: Local AI Server for Distributed LLM Inference
- Title(参考訳): Superfluid: 分散LLM推論のためのローカルAIサーバ
- Abstract要約: ローカルデバイス上での大規模言語モデル(LLM)の実行は、データをプライベートに保ち、トーケン毎のコストを削減し、ネットワークレイテンシを削減し、接続なしで動作し続ける。
両スケールのローカル推論のために構築されたオープンソースのサーバであるSuperfluidを提示する。
- 参考スコア(独自算出の注目度): 0.1804110888755157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Running large language models (LLMs) on local devices keeps data private, removes per-token cost, cuts network latency, and keeps working without a connection. Two shifts now strain how such models are served. On one device, several agents share a locally served model with an interactive user. Across devices, a developer or small team often owns several capable machines from different vendors, which sit idle most of the day because every local server serves one runtime on one machine. We present Superfluid, an open-source LLM server built for local inference at both scales. On one device, Superfluid drives llama.cpp, MLX, or BaseRT in isolated worker processes through one scheduler that moves interactive requests ahead of agent work, computes a prompt shared by many requests once, and writes every token to a durable log before it reaches the client. Across devices, one Superfluid server turns a fleet of machines into a single API endpoint. Machines with different hardware serve copies of the same model, receive work according to their measured speed, and can join or fail under load without losing a request. For Qwen3.8-27B on an Apple M5 Pro, a chat sent while eight agents are working receives its first token in 1.5 s, against 291-612 s on llama-server, Ollama, and mlx_lm.server. On six machines from three chip vendors serving 64 simulated users for one hour, Superfluid answers all 5,041 requests while machines join one at a time and one is killed and rejoins; throughput grows from 112 to 534 tok/s and the median first-token time falls from 99 to 12 s. On twelve Mac Studio M3 Ultras it sustains 10,656 tok/s across 38,563 requests from 384 agents without a failure. Superfluid is available under the Apache-2.0 licence at https://github.com/basecompute/superfluid.
- Abstract(参考訳): ローカルデバイス上での大規模言語モデル(LLM)の実行は、データをプライベートに保ち、トーケン毎のコストを削減し、ネットワークレイテンシを削減し、接続なしで動作し続ける。
2つのシフトは、そのようなモデルがどのように提供されるかを歪めている。
あるデバイスでは、複数のエージェントがローカルに提供されたモデルを対話的なユーザーと共有する。
デバイス全体にわたって、開発者または小さなチームは、異なるベンダーから複数の有能マシンを所有していることが多い。
両スケールのローカル推論のために構築されたオープンソースのLCMサーバであるSuperfluidを提示する。
1つのデバイスで、Superfluidは、分離されたワーカープロセスでllama.cpp、MLX、BaseRTを駆動し、1つのスケジューラを通して、エージェント作業の前に対話的なリクエストを移動し、一度多くのリクエストで共有されたプロンプトを計算し、クライアントに到達する前に全てのトークンを耐久性のあるログに書き込む。
デバイス全体にわたって、あるSuperfluidサーバは、マシン群を単一のAPIエンドポイントに変換する。
異なるハードウェアを持つマシンは、同じモデルのコピーを提供し、その測定速度に応じて作業を受け取り、要求を失うことなく、負荷の下で結合または失敗する。
Apple M5 Pro上のQwen3.8-27Bでは、8人のエージェントが作業中に最初のトークンを1.5秒、llama-server、Ollama、mlx_lm.server上の291-612秒で受信するチャットが送信される。
64のシミュレーションユーザを1時間提供する3つのチップベンダの6つのマシン上で、Superfluidは5,041のリクエストすべてに回答し、マシンが1つずつ参加して1つのマシンが死滅し、再結合する。
12のMac Studio M3 Ultrasでは、38,563件の要求に対して10,656トン/秒を持続する。
SuperfluidはApache-2.0ライセンス下でhttps://github.com/basecompute/superfluidで入手できる。
関連論文リスト
- Metal Sandbox: Isolated Execution and Command Scheduling for GPU Coding Agents on Apple Silicon [70.70012125721817]
制限されたインスタンスごとのファイルアクセス、ネイティブコマンド実行、コマンドレベルのスケジューリングを組み合わせたインフラストラクチャであるMetal Sandboxを紹介します。
4つのMac mini M4ノードの制御された実験は、集中需要下でコマンドスループットのゲインを1.68タイム$-$2.05タイム$を達成する。
論文 参考訳(メタデータ) (2026-11-12T18:54:42Z) - Evolving Agent Teams [58.34711503048237]
既存のコーディングエージェントは、実世界のエキスパートが書いたカーネル上で局所最適化に収束する。
ローカルな最適化から逃れるマルチエージェントフレームワークであるEvolving Agent Teamsを紹介する。
1)各ローカルの最適度を診断し、エージェントのチームを再構成する中央スーパーバイザーと、(2)学習文書を構成する永続ファイルシステムとを備えている。
論文 参考訳(メタデータ) (2026-10-27T08:46:21Z) - Kafila: Serving Large Language Models on a Trusted Set of Heterogeneous Commodity Machines [16.700861880781087]
そこで我々は,NATの裏側からリングを組み立てるKafilaを提案する。
プランナーは各デバイスのメモリ帯域幅、容量、到達可能性を測定する。
3つのフリートで異なる機能を持つマシンでは、Kafilaは最も遅いパイプラインステージを最大5.2倍に短縮する。
論文 参考訳(メタデータ) (2026-09-28T00:10:30Z) - Maverick: Private and Verifiable LLM Inference Made Practical via Matrix-Vector Multiplication Delegation [16.403569514657548]
オープンソースの大規模言語モデル(LLM)は、クローズドソースモデルとますます競合している。
LLMは、サービスプロバイダにユーザ入力を公開することなく、透過性と推論を実行する機能を提供する。
大規模モデルをローカルに実行するには、かなりの計算資源が必要である。
我々は、プライベートかつ検証可能なLLM推論に対する新しいアプローチであるMaverickを提示する。
論文 参考訳(メタデータ) (2026-09-09T14:53:17Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳(メタデータ) (2026-06-30T06:06:08Z) - MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop [32.14321067864185]
コンピュータ利用エージェント(CUA)は、デスクトップ自動化において急速に進歩し、常に自動化されたCUAをデプロイするユーザが増えている。
メトリクスを含む既存のベンチマークでは、フレームワークを拡張せずにエージェントを評価し、バイナリ評価に依存している。
我々は、25のアプリケーションにまたがる676のタスクからなる包括的なエージェントベンチマークであるMacAgentBenchを紹介する。
論文 参考訳(メタデータ) (2026-06-21T15:32:57Z) - xMIx: High-Performance Serving-Time Platform for Mechanistic Interpretability Apps [4.256091469948205]
実運用環境にMIアプリケーションをデプロイするためのフレームワークであるxMIxを紹介します。
xMIxは、前のモデル層の出力に依存するMI関数の条件付き呼び出しをサポートする。
3つの主要なモデルと7つの多様なアプリケーションで評価する。
論文 参考訳(メタデータ) (2026-06-11T20:58:21Z) - Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。
また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。
このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
論文 参考訳(メタデータ) (2026-05-13T11:20:52Z) - Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients [4.6792910030704515]
フェデレートラーニング(FL)システムは、複数のクライアントが単一のサーバで中間モデルの重みを同期的に交換することで、機械学習モデルを反復的にトレーニングすることができる。
このようなFLシステムのスケーラビリティは、同期通信によるサーバアイドル時間と、ひとつのサーバがボトルネックになるリスクの2つの要因によって制限することができる。
本稿では,完全に非同期な新しいFLアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-06-03T15:29:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。