論文の概要: Kafila: Serving Large Language Models on a Trusted Set of Heterogeneous Commodity Machines

• arxiv url: http://arxiv.org/abs/2609.34045v1
• Date: Mon, 28 Sep 2026 00:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:27:45.100765
• Title: Kafila: Serving Large Language Models on a Trusted Set of Heterogeneous Commodity Machines
• Title（参考訳）: Kafila: 信頼された不均一なコモディティマシン上での大規模言語モデルの実現
• Abstract要約: そこで我々は,NATの裏側からリングを組み立てるKafilaを提案する。 プランナーは各デバイスのメモリ帯域幅、容量、到達可能性を測定する。 3つのフリートで異なる機能を持つマシンでは、Kafilaは最も遅いパイプラインステージを最大5.2倍に短縮する。
• 参考スコア（独自算出の注目度）: 16.700861880781087
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Between them, the members of a research group or a circle of friends own several consumer computers, none large enough to run a capable large language model. Existing systems pool such capacity across open swarms anyone may join, which a group admitting only trusted machines cannot use. Bounding membership removes what they depend on: a swarm holds each part of the model on several peers and routes around a slow one. A bounded session must use every device it admits. Its pipeline advances at the pace of whichever device received a share it cannot serve quickly, so the division has to be right before serving begins. We propose Kafila, whose protocol assembles a ring from behind NATs, preferring direct paths and relaying where traversal fails, while its planner measures each device's memory bandwidth, capacity and reachability, divides the model exactly for a fixed ring order, and places the head, which holds the embedding and output projection, together with that division rather than beforehand. On machines with different capabilities across three fleets, from a shared LAN to five devices spanning two continents, Kafila shortens the slowest pipeline stage by up to $5.2\times$ against the even split of pipeline parallelism, as in GPipe, and up to $3\times$ against the memory-proportional split of personal-device inference, as in exo, keeps 75 to 87 per cent of the committed hardware doing work where those divisions fall below half, and serves a model no uniform split can place on the fleet at all. What that is worth to a user depends on how much of a token is computation rather than network. Where the members share a network the same division returns $1.56\times$ the throughput of a uniform split and $1.25\times$ of a memory-proportional one, and under four concurrent users that lead compounds to $3.2\times$ rather than fading, each user served at almost the rate of one.
• Abstract（参考訳）: その間、研究グループや友人のサークルのメンバーはいくつかのコンシューマーコンピュータを所有しており、有能な大きな言語モデルを実行するのに十分な大きさは持っていない。 既存のシステムは、誰でも参加できるオープンスワムにその容量をプールする。 境界メンバーシップは、それらが依存するものを取り除く: スワムはモデルの各部分を、遅いものの周りに複数のピアやルートに保持する。 有界セッションは、承認するすべてのデバイスを使用しなければならない。 そのパイプラインは、どのデバイスがシェアを得たかのペースで進行するが、すぐには機能しない。 本稿では,NAT の裏側からリングを組み立てるプロトコルである Kafila を提案する。そのプロトコルは直接経路を選好し,トラバースの故障箇所を中継する。一方,そのプランナは各デバイスのメモリ帯域幅,キャパシティ,到達可能性を計測し,固定されたリング順序に対してモデルを正確に分割し,埋め込みと出力のプロジェクションを保持するヘッドを,その分割とともに前もって配置する。 共有LANから2大陸にまたがる5つのデバイスまで、異なる能力を持つマシンにおいて、カフィラはGPipeのようにパイプラインの並列性が均等に分裂するのに対して最高5.2\times$と、Exoのようにパーソナルデバイス推論のメモリ/比例的な分割に対して最大3\times$を減らし、これらの分割が半分以下の作業を行うコミットハードウェアの75～87パーセントを保ち、一様分割を全く起こさないモデルを提供する。 ユーザにとって価値のあるものは、ネットワークではなく、トークンの量に依存する。 メンバーがネットワークを共有している場合、同じ部門が均一なスプリットのスループットで1.56\times$と1.25\times$とメモリプロポーザルのスループットで1.25\times$を返す。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Contribution-Aware Bandwidth Allocation for Multimodal Split Learning [7.440677492469226]
  Split Learningは、デバイス上の最初のレイヤのみを保持することで、マルチモーダルトレーニングを実現する。 ModalShareは、サーバがすでに受け取ったアクティベーションの連立を計算しているShapleyコントリビューションスコアから、各モダリティの維持比率を設定する。 このスコアを測定することで、アップリンクトラフィックやクライアント側の計算が不要になり、どのストリームがどのストリームであるかを事前に知る必要がなくなる。
  論文  参考訳（メタデータ） (2026-09-01T15:28:16Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• FEAST: Federated Shared-Space Training for Resource-Heterogeneous Clients [2.1485350418225244]
  フェデレーション学習は、様々な計算能力を持つデバイスに役立たなければならない。 代わりに、スーパーネットトレーニングは、異なるサイズで固定された弾性モデルを学習し、各デバイスに適切なモデルをデプロイする。 クライアントの推論予算が異なる場合、高コストの作業専用のパラメータは、より少ないクライアントで到達可能である。 この不均衡に対処する共有スペーストレーニングフレームワークであるFEASTを提案する。
  論文  参考訳（メタデータ） (2026-08-10T08:10:59Z)
• Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
  Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。 Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
  論文  参考訳（メタデータ） (2026-07-14T23:32:18Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
  MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。 提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
  論文  参考訳（メタデータ） (2021-05-14T22:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。