論文の概要: STREAM: Multi-Tier LLM Inference Middleware with Dual-Channel HPC Token Streaming

• arxiv url: http://arxiv.org/abs/2606.13968v1
• Date: Thu, 11 Jun 2026 23:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.679366
• Title: STREAM: Multi-Tier LLM Inference Middleware with Dual-Channel HPC Token Streaming
• Title（参考訳）: STREAM:Dual-Channel HPC Token Streamingを用いたマルチ階層LPM推論ミドルウェア
• Authors: Anas Nassar, Steve Mohr, Leonard Apanasevich, Himanshu Sharma,
• Abstract要約: STREAM(Smart Tiered Routing Engine for AI Models)は、4つのコントリビューションでこのギャップに対処する。 ローカル、HPC、クラウド推論とローカルLLMベースの複雑性判定を組み合わせた3層ルーティングアーキテクチャ。 WebSocketリレーデータプレーンからGlobus Computeコントロールプレーンを分離するデュアルチャネルHPCストリーミングアーキテクチャ。 長い会話が単純なクエリを高価な層に強制することを防ぐ、ティア対応のコンテキスト要約。
• 参考スコア（独自算出の注目度）: 6.442594752349353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers and practitioners working with large language models face a fragmented landscape: local models are free and private but hardware limits the model size and context windows a researcher can use; institutional HPC centers offer powerful GPU resources at no marginal cost and keep data within institutional boundaries, but operate behind firewalls and are designed for batch jobs rather than interactive use; commercial cloud APIs provide frontier-model quality on demand but impose significant cost and data retention policies unsuitable for sensitive research data. No existing system unifies all three. STREAM (Smart Tiered Routing Engine for AI Models) addresses this gap with four contributions: (1) a three-tier routing architecture combining local, HPC, and cloud inference with a local LLM-based complexity judge; (2) a dual-channel HPC streaming architecture that separates the Globus Compute control plane (authentication and job dispatch) from a WebSocket relay data plane (token delivery), enabling sub-second TTFT (0.54 s median, 21.1x over batch mode's 11.40 s) through institutional firewalls without VPN or firewall rule changes, with end-to-end AES-256-GCM encryption ensuring the relay operator cannot read token payloads; (3) tier-aware context summarization that prevents long conversations from forcing simple queries onto expensive tiers; and (4) an HPC-as-API proxy mode that exposes HPC inference as an OpenAI-compatible endpoint callable from any standard client with no HPC expertise, a deployment pattern made practical only by the sub-second TTFT of contribution (2). Llama 3.2 3B achieves 85.1% free-tier retention on a 1,200-query benchmark spanning ten domains. Measured TTFT: 0.26 s local, 0.54 s HPC (relay), 1.68 s cloud.
• Abstract（参考訳）: ローカルモデルは無償でプライベートだが、ハードウェアはモデルサイズとコンテキストウインドウを制限する 機関のHPCセンタは、限界費用なしで強力なGPUリソースを提供し、機関の境界内にデータを保持しているが、ファイアウォールの陰で運用され、インタラクティブな使用ではなくバッチジョブ用に設計されている 商用クラウドAPIは、オンデマンドでフロンティアモデルの品質を提供するが、機密研究データには適さない、かなりのコストとデータ保持ポリシーを課している。 既存のシステムでは、これら3つを統一することはない。 STREAM(Smart Tiered Routing Engine for AI Models)は、(1)ローカル、HPC、クラウド推論をローカルLLMベースの複雑性判断器と組み合わせた3層ルーティングアーキテクチャ、(2)Globus Computeコントロールプレーン(認証とジョブディスパッチ)をWebSocketリレーデータプレーンから分離するデュアルチャネルHPCストリーミングアーキテクチャ(トーケン配信)、VPNやファイアウォールルールの変更のない機関ファイアウォールを経由したサブ秒TTFT(0.54秒、21.1秒、バッチモード11.40秒)、エンドツーエンドのAES-256-GCM暗号化により、リレーオペレータがトークンを読めないことを保証すること、(3)HPCとHPCのプロキシを同期させること、(2)HPCとHPCのクライアント間の通信を同期させること、の4つの基本的な専門知識のみを実現すること、の4つのメリットに対処する。 Llama 3.2 3Bは、10ドメインにまたがる1,200クエリのベンチマークで85.1%のフリーティア保持を実現している。 TTFT: 0.26 s ローカル、 0.54 s HPC (リレー)、 1.68 s クラウド。

関連論文リスト

• EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
  EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。 実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。 EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
  論文  参考訳（メタデータ） (2026-06-09T17:57:16Z)
• Lodestar: An Online-Learning LLM Inference Router [6.819928135489163]
  大規模言語モデル(LLM)推論タスクは、ユーザの知覚するレイテンシに不可欠である。 Lodstarは、分散GPUクラスタのための新しい学習ベースの要求ルーティングシステムである。 Lodstarは平均1.41倍のTTFT、平均1.47倍のP99 TTFTを達成している。
  論文  参考訳（メタデータ） (2026-05-31T01:31:02Z)
• LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models [0.5765637715313356]
  LLMForgeはハードウェア対応のニューラルアーキテクチャ検索フレームワークである。 Infinite-Head Attention (IHA)は、クエリヘッド数、KVグループ、ヘッド毎のクエリ/キーと値次元を分離する。 Forge-Formerはアーキテクチャベースのベンチマークパフォーマンスを上回っている。
  論文  参考訳（メタデータ） (2026-05-17T21:10:54Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• FIRST: Federated Inference Resource Scheduling Toolkit for Scientific AI Model Access [7.480885391518904]
  FIRSTは、既存のHPCインフラストラクチャ上のLarge Language Models(LLM)など、さまざまなAIモデルへのクラウドライクなアクセスを提供する。 システムは、プライベートでセキュアな環境でOpenAI準拠のAPIを介して、並列推論ワークロードを実行することができる。
  論文  参考訳（メタデータ） (2025-10-15T16:28:34Z)
• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)
• How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
  LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。 提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。 以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-07-05T17:12:33Z)
• LLM-Based Emulation of the Radio Resource Control Layer: Towards AI-Native RAN Protocols [28.04609776570199]
  大型AIモデル(LAM)はAI-Native Air Interface(AI-AI)の重要な実現要因である 本稿では,デコーダのみのLAMを用いた無線リソース制御層の最初の標準準拠エミュレーションを提案する。 その結果,LSMをプロトコル対応推論で拡張すると,制御プレーンの手順を直接オーケストレーションできることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T15:55:56Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。