論文の概要: Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores

• arxiv url: http://arxiv.org/abs/2604.11948v1
• Date: Mon, 13 Apr 2026 18:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.065006
• Title: Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores
• Title（参考訳）: 3次元S-NUCA多コア上での熱・カーネルを考慮したFM推論のための能動模擬学習
• Abstract要約: Large Foundation Model(LFM)推論は、メモリと計算集約の両方で、従来はGPUに依存していた。 AILFMは,実行時のオーバーヘッドを最小限に抑えたOracleのデモから,最適に近い温度対応スケジューリングポリシを学習するスケジューリングフレームワークである。 大規模な実験により、ALIFMは最先端のベースラインを上回り、多様なLFMワークロードにまたがる一般化を実現している。
• 参考スコア（独自算出の注目度）: 3.314431209683732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Foundation Model (LFM) inference is both memory- and compute-intensive, traditionally relying on GPUs. However, the limited availability and high cost have motivated the adoption of high-performance general-purpose CPUs, especially emerging 3D-stacked Static Non-Uniform Cache Architecture (3D S-NUCA) systems. These architectures offer enhanced bandwidth and locality but suffer from severe thermal challenges and uneven cache latencies due to 3D Networks-on-Chip (NoC). Optimal management of thread migration and V/f scaling is non-trivial due to LFM kernel diversity and system heterogeneity. Existing thermal management approaches often rely on oversimplified analytical models and lack adaptability. We propose AILFM, an Active Imitation Learning (AIL)-based scheduling framework that learns near-optimal thermal-aware scheduling policies from Oracle demonstrations with minimal run-time overhead. AILFM accounts for both core-level performance heterogeneity and kernel-specific behavior in LFMs to maintain thermal safety while maximizing performance. Extensive experiments show that AILFM outperforms state-of-the-art baselines and generalizes well across diverse LFM workloads.
• Abstract（参考訳）: Large Foundation Model(LFM)推論は、メモリと計算集約の両方で、従来はGPUに依存していた。 しかし、可用性の制限と高コストは高性能汎用CPU、特に新しい3Dスタックの静的非統一キャッシュアーキテクチャ(3D S-NUCA)システムの採用を動機付けている。 これらのアーキテクチャは帯域幅と局所性の向上を提供するが、3D Networks-on-Chip (NoC) による厳しい熱的問題と不均一なキャッシュレイテンシに悩まされている。 LFMカーネルの多様性とシステム不均一性のため、スレッドマイグレーションとV/fスケーリングの最適管理は簡単ではない。 既存の熱管理アプローチは、過度に単純化された分析モデルと適応性に頼っていることが多い。 AILFM(Active Imitation Learning:アクティブ・イミテーション・ラーニング)ベースのスケジューリング・フレームワークを提案する。 AILFMは、コアレベルの性能不均一性とLFMにおけるカーネル固有の挙動の両方を考慮し、性能を最大化しながら熱安全性を維持する。 大規模な実験により、ALIFMは最先端のベースラインを上回り、多様なLFMワークロードにまたがる一般化を実現している。

関連論文リスト

• Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice [12.809268527016599]
  本稿では,最小ボリュームファースト(SVF)アルゴリズムとその高効率な変種である1ビットSVFを導入することで,幾何を考慮したオンラインスケジューリングを提案する。 SVFは平均レイテンシとテールレイテンシの両方を強く削減し、一方1ビットのSVFは1ビットの情報だけで、競合スループットとレイテンシを実現する。 この研究は、現代の大規模言語モデルの展開において、メモリ制限されたスケジューリングを解決するための理論的に健全で実証的なアプローチを確立する。
  論文  参考訳（メタデータ） (2026-06-21T04:05:38Z)
• TIDE: Efficient and Lossless MoE Diffusion LLM Inference with I/O-aware Expert Offload [28.278474158271894]
  Diffusion Large Language Models (dLLMs) は、並列ブロックレベルのデコーディングを通じて、ハードウェア利用と双方向コンテキストを改善する。 既存のARベースのメソッドは、しばしば禁止的なI/Oオーバーヘッドまたは重要な計算ボトルネックを引き起こす。 本稿では,専門家のアクティベーションの時間的安定性を活用する新しい資源効率推論システムであるTIDEを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:59:08Z)
• Ragged Paged Attention: A High-Performance and Flexible LLM Inference Kernel for TPU [3.9009842917937534]
  我々はGoogleのTPUのための高性能で柔軟なアテンションカーネルであるRPA(Ragged Paged Attention)を提示する。 RPAはデコードで最大86%のメモリ帯域利用率(MBU)、プリフィルで73%のモデルFLOPs利用率(MFU)を達成する。
  論文  参考訳（メタデータ） (2026-04-16T18:30:13Z)
• ZeroDVFS: Zero-Shot LLM-Guided Core and Frequency Allocation for Embedded Platforms [7.633618497843279]
  マルチコアプラットフォーム上での熱・エネルギーを考慮したスケジューリングのためのモデルベース階層型マルチエージェント強化学習(MARL)フレームワークを提案する。 第一決定レイテンシはテーブルベースのプロファイリングよりも8,300倍高速で、動的組み込みシステムに実用的なデプロイを可能にする。
  論文  参考訳（メタデータ） (2026-01-13T02:56:06Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• Systolic Array-based Accelerator for Structured State-Space Models [1.137896937254823]
  State-Space Models (SSM) は非常に長いデータシーケンスをリカレントやトランスフォーマーベースのモデルよりも効率的に処理する。 本稿では,SSMの高速化を目的としたハードウェアアクセラレータEpochCoreを紹介する。 EpochCoreは、GPUと比較してLRAデータセットの平均2000倍のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-07-29T00:01:57Z)
• Flexiffusion: Training-Free Segment-Wise Neural Architecture Search for Efficient Diffusion Models [50.260693393896716]
  拡散モデル(DM)は高忠実度画像を生成できる強力な生成モデルであるが、高い計算コストで制約される。 我々は、事前訓練されたパラメータを変更することなく、生成スケジュールとモデルアーキテクチャを協調的に最適化する、トレーニング不要なNASフレームワークFlexiffusionを提案する。 我々の研究は、品質を犠牲にすることなく高速DMを検索するための資源効率の良いパラダイムを開拓した。
  論文  参考訳（メタデータ） (2025-06-03T06:02:50Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• Intelligent Orchestration of Distributed Large Foundation Model Inference at the Edge [46.1232919707345]
  Large Foundation Models (LFMs)は、次世代のEdge AIアプリケーションの新機能をアンロックすることを約束する。 現在の分割推論戦略では、ノード間でLPM層を分割するが、変動するワークロードに適応するようには設計されていない。 本稿では, LFM層を実行時可変変数に配置し, 分割する, 適応型分割推論オーケストレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:35:56Z)
• RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model [59.37279559684668]
  本稿では,効率的なマルチモーダルリモートセンシング基盤モデルであるRS-vHeatを紹介する。 具体的には、RS-vHeatは、O(N1.5)$の複雑さを持つ熱伝導演算子(HCO)と、大域的受容場を適用している。 注意に基づくリモートセンシング基礎モデルと比較して、メモリ使用量を84%削減し、FLOPを24%削減し、スループットを2.7倍改善する。
  論文  参考訳（メタデータ） (2024-11-27T01:43:38Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。