論文の概要: Elastic Gang: Per-Token Membership Change for a Hard-Barriered LLM Inference Gang Co-Scheduled with OS Processes

• arxiv url: http://arxiv.org/abs/2607.04668v1
• Date: Mon, 06 Jul 2026 04:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.038672
• Title: Elastic Gang: Per-Token Membership Change for a Hard-Barriered LLM Inference Gang Co-Scheduled with OS Processes
• Title（参考訳）: Elastic Gang: OSプロセスと同期したハードバリア式LLM推論Gangのトークン単位のメンバシップ変更
• Authors: Daeyeon Son,
• Abstract要約: LLMデコード(英語版)はハードバレードなCPU-SIMD計算であり、すべてのコアにトークン1枚あたりミリ秒を要求し、残りのOSは同じコアを継続的に求めている。 未発表の出発はバリアをデッドロックし、未発表の到着は静かにログを破損させる。 I present the elastic gang of Anima OS, a bare-metal x86-64 Rust kernel that the inference gang is a first-class schedulable entity。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: On-device LLM decoding is a hard-barriered CPU-SIMD computation that wants every core for milliseconds per token, while the rest of the OS wants those same cores continuously. A barriered gang cannot simply be dropped into a preemptive scheduler: an unannounced departure deadlocks a barrier, and an unannounced arrival silently corrupts logits. I present the elastic gang of Anima OS, a bare-metal x86-64 Rust kernel in which the inference gang is a first-class schedulable entity whose core membership may change between any two tokens. The core mechanism is an ACK-latched epoch protocol that never waits on a named core: a seqlock-style generation-tagged latch composed with RCU/epoch-style membership consent, so each token's participant set is the intersection of the cores the gang requested and the cores that acked the current epoch. An un-acked core is outside this token and joins at most one token later. Displaced general processes migrate and keep running; cores return to them the moment a generation ends. On a real AMD Zen 5 machine (8C/16T), inference output is bit-exact under verified per-token membership change on both a 135M and a 7B model, the property that makes elasticity safe in a kernel whose safety gate reads logits. Against fair static core partitions, elastic membership Pareto-dominates: at intermediate inference duty cycles it delivers 1.75x (25%), 1.52x (50%), and 1.28x (75%) the general throughput of a static 8-core split at equal or better inference throughput, recovers all eight stranded cores when inference is idle, and converges to the split at saturation. Returning a lent core costs 0.22 us (p50); acquiring a busy, tenant-occupied core costs one scheduling quantum (~16 ms): a running tenant is never preempted mid-slice. Decode throughput saturates at gang width 8, so ceding cores past the knee is nearly free: elasticity auto-sizes the gang online.
• Abstract（参考訳）: オンデバイスLCMデコーディングは、ハードバレードなCPU-SIMD計算であり、すべてのコアにトークン1枚あたりミリ秒を要求し、残りのOSは同じコアを継続的に求めている。 未発表の出発はバリアをデッドロックし、未発表の到着は静かにログを破損させる。 私は Anima OS の弾性ギャングである x86-64 Rust カーネルを紹介します。推論ギャングは、2つのトークン間でコアメンバーシップが変更可能な第1級スケジュール可能なエンティティです。 コアメカニズムはACKラッチされたエポックプロトコルであり、名前付きコアで待機しない: シークロックスタイルのジェネレーションタグ付きラッチは、RCU/エポックスタイルのメンバシップ同意で構成されるため、各トークンの参加者セットは、要求されたコアと現在のエポックをハックしたコアの交差点である。 アンハックされたコアはこのトークンの外側にあり、その後、少なくとも1つのトークンに結合する。 置き換えられた一般的なプロセスは移行し、実行し続ける。 実AMD Zen 5マシン(8C/16T)では、安全ゲートがロジットを読み取るカーネルにおいて弾性を安全にする特性である135Mと7Bモデルの両方において、認証されたトーケンメンバシップ変化の下で、推論出力がビット実行される。 中間の推論デューティサイクルでは、1.75x (25%), 1.52x (50%), 1.28x (75%) の静的8コア分割の一般的なスループットは等しいかそれ以上の推論スループットで、推論がアイドルであるときに8つのストランドコアをすべて回復し、飽和時に分割に収束する。 レントコアの返却には0.22us(p50)、忙しいテナント占有コアの取得には1つのスケジューリング量子(〜16ms)がかかる。 デコードスループットはギャング幅8で飽和するため、膝越しのコアの引き渡しはほぼ自由である。

関連論文リスト

• Metronome: Bound the Cache, Keep the Beat for Real-Time Interaction Model Serving [0.4376400608266187]
  各フレームでセッションはストリーミングオーディオを取り込み、ウォールタイムの期限に応答しなければならない。 リアルタイムスタックでは、持続的な負荷は優雅に機能しない。 Metronomeのエンジン内KVウィンドウは、クラッシュを排除し、フレーム単位のレイテンシをモノトーン負荷信号に変換する。
  論文  参考訳（メタデータ） (2026-07-02T15:59:01Z)
• AutoMegaKernel: A Statically-Checked Agent Harness for Self-Retargeting Megakernel Synthesis [0.0]
  AutoMegaresearchKernel (AMK)はHuggingFace Llamaファミリーモデルを単一の永続的なカーネルにコンパイルし、1回の起動で全前方パスを実行する。 AMKは、高帯域のトレーニングクラスであるA100/H100でcuBLASをパスし、ハーネスがクロスSM同期ボトルネックをローカライズする。 これはデコード位置0における精度非対称(W8A16とbf16)の比較であり、最大の実チェックポイントはTinyLlama-1.1Bである。
  論文  参考訳（メタデータ） (2026-06-08T16:02:03Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• BlockFFN: Towards End-Side Acceleration-Friendly Mixture-of-Experts with Chunk-Level Activation Sparsity [66.94629945519125]
  我々は、新しいMoEアーキテクチャであるBlockFFNと、その効率的なトレーニングとデプロイメント技術を紹介します。 具体的には、ReLUアクティベーションとRMSNormを統合したルータを、微分可能かつ柔軟なルーティングに使用します。 次に、トークンレベルのスペーサ(TLS)とチャンクレベルのスペーサ(CLS)の両方を促進するために、CLS対応のトレーニング目標を設計し、BlockFFNをより加速しやすいものにした。
  論文  参考訳（メタデータ） (2025-07-11T17:28:56Z)
• QuickSilver -- Speeding up LLM Inference through Dynamic Token Halting, KV Skipping, Contextual Token Fusion, and Adaptive Matryoshka Quantization [7.188043811595143]
  推論は、大きな言語モデルにおける遅延とエネルギー消費の大部分を占める。 QuickSilverはモジュール型のトークンレベルのフレームワークで、モデルウェイトや構造を変更することなく、推論時のセマンティックアダプティビティを実現する。
  論文  参考訳（メタデータ） (2025-06-27T17:10:32Z)
• UniTok: A Unified Tokenizer for Visual Generation and Understanding [63.23796622553615]
  視覚生成および理解モデルは通常、画像を処理するために異なるトークン化器に依存する。 我々は、新しいマルチコードブック量子化機構を備えた統一トークン化システムUniTokを紹介する。 最終的なパフォーマンスに関しては、UniTokはImageNetで0.38 rFIDと78.6%のゼロショット精度で新記録を樹立した。
  論文  参考訳（メタデータ） (2025-02-27T17:47:01Z)
• FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees [19.58773369944074]
  タスク適応には、大規模な言語モデル(LLM)の微調整が不可欠だが、今日のサービススタックは、推論と個別のGPUクラスタ上での微調整を分離している。 本稿では,LLM推論とPEFTに基づく共通GPUのファインタニングをトークンレベルで融合した最初のシステムであるFlexLLMを紹介する。 実行時に、新しいトークンレベルの微調整機構がハイブリッドトークンスケジューラと組み合わせて、共用イテレーション毎に推論とトレーニングトークンを動的にインターリーブする。
  論文  参考訳（メタデータ） (2024-02-29T01:33:08Z)
• K-Net: Towards Unified Image Segmentation [78.32096542571257]
  K-Netと名付けられたこのフレームワークは、学習可能なカーネルのグループによってインスタンスとセマンティックカテゴリの両方を一貫して分割する。 K-Netは双方向マッチングでエンドツーエンドでトレーニングすることができ、そのトレーニングと推論は自然にNMSフリーで、ボックスフリーである。
  論文  参考訳（メタデータ） (2021-06-28T17:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。