論文の概要: The Price of Anarchy in Disaggregated Inference

• arxiv url: http://arxiv.org/abs/2606.17081v1
• Date: Thu, 11 Jun 2026 21:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.040589
• Title: The Price of Anarchy in Disaggregated Inference
• Title（参考訳）: 分散推論におけるアナキシーの価格
• Authors: Athos Georgiou,
• Abstract要約: 我々はNVIDIA Dynamoを具体的なケーススタディとして用いて,このアーキテクチャのゲーム理論による最初の公式な解析を行った。 プリフィルプールとデコードプールの間の2つのプレイヤーリソースゲーム、階層的なKVキャッシュ上の利己的なキャッシュゲーム、リクエストルーティングのためのポジティブな外部性を備えた渋滞ゲームである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Disaggregated inference architectures physically separate prefill and decode phases onto distinct GPU pools, creating competing "agents" that share a fixed hardware budget. We provide, to our knowledge, the first formal game-theoretic analysis of this architecture, using NVIDIA Dynamo as a concrete case study. We model disaggregated serving as three coupled games: a two-player resource game between prefill and decode pools, a selfish caching game over the hierarchical KV cache, and a congestion game with positive externalities for request routing. We empirically validate the latter two; the P/D resource game is treated analytically (Section 9.2). We characterize how GPU saturation induces regime transitions that shift the game's payoff structure: below saturation, selfish behavior has bounded Price of Anarchy (PoA); at saturation, superlinear latency and cache externalities drive our empirical estimator PoA-hat (defined in Section 6.4) upward. Based on this analysis, we design an adaptive controller that detects saturation transitions in real time and adjusts routing parameters accordingly, shifting from cache-affinity exploitation to load-balanced congestion avoidance. We instantiate our framework on a 3-node NVIDIA B200 cluster running Dynamo with two models, Nemotron-4-340B (TP=8, full-node workers with cross-InfiniBand KV transfers) and Llama-3.1-70B (TP=4), and find the same three-regime PoA-hat structure with the same first post-knee grid point (C=128) on both models. Adaptive routing shifts each model to a better operating point. Our strongest result is on the 70B 1P/5D topology, where PoA-hat drops 3.1x (66.4 to 21.5) in the saturated phase at a 13% throughput cost. On the 70B 1P/2D, PoA-hat drops 2.2x and TTFT P99 drops 7.6x (see Section 8.5).
• Abstract（参考訳）: 分散推論アーキテクチャは、物理的にプリフィルとデコードフェーズを別々のGPUプールに分離し、固定されたハードウェア予算を共有する競合する"エージェント"を生成する。 我々の知る限りでは、NVIDIA Dynamoを具体的なケーススタディとして使用し、このアーキテクチャの最初の公式なゲーム理論分析を提供する。 プリフィルプールとデコードプールの間の2つのプレイヤーリソースゲーム、階層的なKVキャッシュ上の利己的なキャッシュゲーム、リクエストルーティングのためのポジティブな外部性を備えた渋滞ゲームである。 後者の2つを実証的に検証し、P/Dリソースゲームは解析的に処理される(第9章2)。 飽和下では、自己中心的な振る舞いがアナーキー価格(PoA)を束縛し、飽和時には、超線形レイテンシとキャッシュ外部性によって、経験的推定器PoA-hat(第6.4節で定義されている)を上向きに駆動する。 そこで本研究では,キャッシュ・アフィニティ・エクスプロイトから負荷バランスの取れた混雑回避に移行することで,飽和遷移をリアルタイムに検出し,ルーティングパラメータを調整する適応制御器を設計する。 我々は、Nemotron-4-340B(TP=8、クロスインフィニBand KV転送を持つフルノードワーカー)とLlama-3.1-70B(TP=4)の2つのモデルでDynamoを実行する3ノードNVIDIA B200クラスタ上で、フレームワークをインスタンス化し、両方のモデルで同じ最初のポストニーグリッドポイント(C=128)を持つ3つの登録PoA-hat構造を見つける。 適応的ルーティングは、各モデルをより良い操作ポイントにシフトする。 我々の最大の成果は70B 1P/5Dトポロジーであり、PoA-hatは飽和相において13%のスループットコストで3.1倍(66.4～21.5)低下する。 70B 1P/2Dでは、PoA-hatは2.2倍、TTFT P99は7.6倍となる(第8.5節参照)。

関連論文リスト

• Task Structure Reverses Layerwise State Encoding in Sequence Models [8.403971471573607]
  タスクが変更されたとき、同じアーキテクチャがこのプロファイルを反転させるのが分かります。 微調整されたMamba-130MとPythia-160Mでは、ParityはMambaとリカレントベースラインに徐々に集中し、Transformerによって徐々に建設された。 同じフリップが微調整されたMamba-130MとPythia-160Mに現れ、Pythia Dyckのボトルネックは410Mで持続する。
  論文  参考訳（メタデータ） (2026-05-30T23:26:29Z)
• DualTCN: A Physics-Constrained Temporal Convolutional Network for 2 Time-Domain Marine CSEM Inversion [1.2031796234206138]
  DualTCNは、時間領域の海洋電磁制御源(MCSEM)過渡データを反転させるための最初のディープラーニングフレームワークである。 このフレームワークは、4つのアースモデルパラメータを回帰し、微分可能なソフトステップデコーダを用いてプロファイルを再構成する。 このフレームワークは、カリキュラムベースの振幅増大によるノイズに対する高い堅牢性を示し、平均$barR2$ 0.858 at $pm2%$ランダム振幅誤差を維持している。
  論文  参考訳（メタデータ） (2026-05-06T14:58:17Z)
• Evaluating Small Language Models for Front-Door Routing: A Harmonized Benchmark and Synthetic-Traffic Experiment [0.05586191108738562]
  小型言語モデル(SLM)は、サブ秒、ゼロマージナルコスト、セルフホストタスクの分類に十分な推論能力を持つ。 Study 1はPhi-3.5-mini、Qwen2.5-1.5B、Qwen-2.5-3Bを同一のAzure T4ハードウェア、サービススタック、量子化、固定60ケースコーパスで同期したオフラインベンチマークである。 研究2は、合成トラフィック下で事前登録された4本腕ランダム化実験であり、有効サンプルサイズは腕あたり60ケースである。
  論文  参考訳（メタデータ） (2026-03-26T15:57:46Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• CAFlow: Adaptive-Depth Single-Step Flow Matching for Efficient Histopathology Super-Resolution [0.0]
  全スライディング画像は、通常、ギガピクセルの解像度を超えるため、計算集約的な生成超解像は、日常的な展開には不実用である。 適応的な1ステップフローマッチングフレームワークであるCAFlowを導入し,各画像タイルを最も浅いネットワーク出口にルーティングする。 多臓器の病理組織学的 x4 SR では、適応的ルーティングは完全な深さで 31.72 dB PSNR と 31.84 dB を達成し、最も浅い出口は SwinIR-light よりも2.8倍少ない計算で +1.9 dB を超える。
  論文  参考訳（メタデータ） (2026-03-19T05:45:58Z)
• Cascade-Aware Multi-Agent Routing: Spatio-Temporal Sidecars and Geometry-Switching [0.0]
  スケジューラは負荷とフィットネスを最適化するが、木のようなグラフとサイクリックグラフで障害がどのように伝搬するかのモデルがない。 我々は、この観測可能性ギャップをオンライン幾何学制御問題として定式化する。 時空サイドカーは、どの幾何学が現在のトポロジーに適合するかを予測する。
  論文  参考訳（メタデータ） (2026-03-17T20:10:16Z)
• Streaming Looking Ahead with Token-level Self-reward [50.699168440048716]
  本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
  論文  参考訳（メタデータ） (2025-02-24T22:35:53Z)
• Next Block Prediction: Video Generation via Semi-Autoregressive Modeling [92.60177942930946]
  Next-Block Prediction (NBP) は、ビデオ生成のための半自己回帰(セミAR)フレームワークである。 NBPは各ブロック内で双方向の注意を払っており、トークンはより堅牢な空間依存をキャプチャすることができる。 本モデルでは,UCF101では103.3点,K600では25.5点,バニラNTPモデルでは4.4点,FVDスコアは25.5点であった。
  論文  参考訳（メタデータ） (2025-02-11T17:57:53Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。