論文の概要: ThAME: 3D Memory-Enabled Heterogeneous Accelerator for LLM Mixture of Experts

• arxiv url: http://arxiv.org/abs/2607.17074v1
• Date: Sun, 19 Jul 2026 04:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.349504
• Title: ThAME: 3D Memory-Enabled Heterogeneous Accelerator for LLM Mixture of Experts
• Title（参考訳）: ThAME: エキスパートのLSM混合のための3次元記憶可能不均一加速器
• Abstract要約: ThAMEは、MoE推論のための3Dヘテロジニアスなマルチチップアーキテクチャである。 ThAMEは最新技術よりも15.7倍高速であることを示す。
• 参考スコア（独自算出の注目度）: 13.754183593794131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture of Experts (MoE) architectures have emerged as a dominant paradigm for scaling Large Language Models (LLMs). However, MoE inference on conventional hardware is constrained by three fundamental bottlenecks. These encompass the massive memory bandwidth required to fetch non-contiguous expert weights, the non-deterministic scatter-gather traffic generated by input-dependent token routing, and the tail-latency dependency imposed by synchronous expert output aggregation. To address these challenges, we propose ThAME, a three-dimensional (3D) heterogeneous multi-chiplet architecture for MoE inference. ThAME employs Ferroelectric Field-Effect Transistor (FeFET)-based non-volatile and DRAM-based volatile memory chiplets with a co-designed compute mapping strategy that aligns the distinct computational profiles of attention mechanisms and expert routing. Furthermore, we design a specialized Network-on-Chip communication backbone optimized to mitigate the bottlenecks associated with non-deterministic token routing traffic across the combinatorial space of input-dependent MoE traffic patterns. Experimental results demonstrate that ThAME outperforms state-of-the-art counterparts by up to 15.7x in terms of speedup and improves energy efficiency by up to 9.8x.
• Abstract（参考訳）: Mixture of Experts (MoE)アーキテクチャは、LLM(Large Language Models)をスケールするための主要なパラダイムとして登場した。 しかし、従来のハードウェアにおけるMoE推論は3つの基本的なボトルネックによって制約されている。 これらは、非連続的な専門家の重みを取り出すのに必要な膨大なメモリ帯域幅、入力依存トークンルーティングによって生成される非決定論的散乱層トラフィック、同期専門家の出力アグリゲーションによって課されるテールレイテンシ依存性を含む。 これらの課題に対処するため、MoE推論のための3次元(3次元)ヘテロジニアスマルチチップアーキテクチャThAMEを提案する。 ThAMEは、FeFET(Feroelectric Field-Effect Transistor)ベースの非揮発性およびDRAMベースの揮発性メモリチップレットと、アテンション機構とエキスパートルーティングの異なる計算プロファイルを整合させる、共設計の計算マッピング戦略を採用している。 さらに,入力依存型MoEトラフィックパターンの組合せ空間にまたがる非決定論的トークンルーティングトラフィックに関連するボトルネックを軽減するために最適化されたNetwork-on-Chip通信バックボーンを設計する。 実験の結果、ThAMEは最新技術よりも15.7倍、エネルギー効率は9.8倍向上した。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• DSFNet: Learning Dual-Domain Spectral Operators for Multi-Modality Spatio-Temporal Forecasting in Urban Transportation Systems [51.72074484150301]
  本稿ではDSFNet(Dual-Domain Spectral Network)を提案し,変数間の関係を明示的にモデル化する。 このフレームワークは、異種空間パターンを捉えるために、二重領域スペクトルフィルタリングを用いる。 2番目のベースラインと比較して、DSFNetはこれらのデータセット間でMAEを3.21%-10.16%削減する。
  論文  参考訳（メタデータ） (2026-06-05T07:33:57Z)
• Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
  低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。 不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
  論文  参考訳（メタデータ） (2026-02-24T02:45:32Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• GMF-Drive: Gated Mamba Fusion with Spatial-Aware BEV Representation for End-to-End Autonomous Driving [5.450011907283289]
  本稿では, GMF-Driveを紹介した。これは2つの原則的イノベーションを通じて, 課題を克服するエンドツーエンドフレームワークである。 まず、情報制限ヒストグラムに基づくLiDAR表現を、幾何学的に拡張された柱形式で置き換える。 第二に,高効率空間認識状態空間モデルを用いた高価な変圧器を代替する新しい階層型マンバ融合アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-08-08T08:17:18Z)
• U-PINet: End-to-End Hierarchical Physics-Informed Learning With Sparse Graph Coupling for 3D EM Scattering Modeling [28.64166932076228]
  電磁波散乱モデリングは、レーダーリモートセンシングに不可欠である。 従来の数値解法は精度が高いが、スケーラビリティの問題と計算コストに悩まされている。 これらの制約を克服するために,U字型物理情報ネットワーク (U-PINet) を提案する。
  論文  参考訳（メタデータ） (2025-08-05T12:20:42Z)
• Speculative MoE: Communication Efficient Parallel MoE Inference with Speculative Token and Expert Pre-scheduling [3.529891364583952]
  MoE(Mixture of Experts)は、現代のトランスフォーマーベースのLLM(Large Language Models)を前例のない規模に拡張可能なニューラルネットワークとして普及している。 最先端のMoE推論フレームワークであるDeepSpeed-MoEは、EP(Expert Parallelism)、TP(Tensor Parallel)、DP(Data Parallelism)を含む3D並列パラダイムを採用している。 本研究の目的は,EPの通信オーバヘッドをSpeculative MoEという技術で戦略的に削減し,DeepSpeed-MoEを向上することである。
  論文  参考訳（メタデータ） (2025-03-06T12:52:22Z)
• Towards 3D Acceleration for low-power Mixture-of-Experts and Multi-Head Attention Spiking Transformers [5.1210823165448]
  Spiking Neural Networks(SNN)は、エネルギー効率のよいディープラーニングを解き放つ上で重要な、脳にインスパイアされたイベント駆動のメカニズムを提供する。 本稿では,Mixture-of-ExpertsとMulti-Head Attention Spiking Transformerの最初の3Dハードウェアアーキテクチャと設計手法を紹介する。
  論文  参考訳（メタデータ） (2024-12-07T05:15:05Z)
• Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
  RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。 従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。 本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
  論文  参考訳（メタデータ） (2024-12-02T14:44:39Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Design Space Exploration of Dense and Sparse Mapping Schemes for RRAM Architectures [2.788414791586367]
  本稿では,高密度かつスパースなマッピング方式の利点と限界を定量化するために,拡張された設計空間探索手法を提案する。 また, 1-Transistor-1-Resistor (1T1R) に導入される典型的な非イデアルのトレードオフを定量化し, 定式化するケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-01-18T02:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。