論文の概要: CAMP: Context-Aware Mapping and Placement for LLMs on 3D-IMC Arrays

• arxiv url: http://arxiv.org/abs/2611.07707v1
• Date: Thu, 05 Nov 2026 09:27:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.6357
• Title: CAMP: Context-Aware Mapping and Placement for LLMs on 3D-IMC Arrays
• Title（参考訳）: CAMP: 3D-IMCアレイ上のLCMのコンテキスト対応マッピングと配置
• Abstract要約: 大きな言語モデル(LLM)は、大きな重み行列とキー値キャッシュをロードするコストのために、メモリアクセスのオーバーヘッドが深刻になる。 AIMCは、メモリに格納された静的ウェイトを直接計算し、エネルギーとレイテンシを大幅に削減する、新たなソリューションである。 3D-IMCはさらにメモリアレイを垂直層にスタックし、キャパシティを向上するが、新しい課題を明らかにしている。 3D-IMCに基づく重みマッピングアルゴリズムCAMPを提案する。
• 参考スコア（独自算出の注目度）: 6.586967076490999
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) incur severe memory-access overheads due to the cost of loading large weight matrices and key-value (KV) caches. Analog In-Memory Computing (AIMC) is an emerging solution that enables computation directly on static weights stored in memory, substantially reducing energy and latency. 3D-IMC further stacks memory arrays into vertical tiers, increasing capacity but revealing a new challenge: how weights are placed in memory determines which matrix-vector multiplications (MVMs) can execute concurrently, affecting latency and throughput. The concurrency aspect of 3D-IMC weight-mapping remains underexplored in the literature, leading to sub-optimal utilization of compute resources on 3D-IMC chips. In this context we propose CAMP (Context-Aware Mapping and Placement), an inference-context-aware weight mapping algorithm for 3D-IMC-based LLM accelerators. CAMP captures the potential resource contention resulting from the architecture, targeted network, and runtime context in a conflict matrix, enabling throughput-optimized weight mapping. This mapping is refined through a profiling-driven feedback loop that efficiently prunes the search space and returns optimized mappings within practical runtimes. CAMP is an offline, software-based solution requiring no hardware changes and improving 3D-IMC compute utilization from 42.4% to 60.3%, delivering up to 2.0x higher 3D-IMC throughput and 1.74x higher end-to-end throughput over state-of-the-art mapping algorithms.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、大きな重み行列とキー値(KV)キャッシュをロードするコストのために、メモリアクセスのオーバーヘッドが深刻になる。 Analog In-Memory Computing (AIMC) は、メモリに格納された静的ウェイトを直接計算し、エネルギーとレイテンシを大幅に削減する新しいソリューションである。 3D-IMCはさらにメモリアレイを垂直層にスタックし、キャパシティを向上するが、新しい課題を明らかにしている。 3D-IMCの重み付けの並列性は文献では未定であり、3D-IMCチップ上での計算資源の準最適利用に繋がる。 この文脈では、3D-IMCベースのLCM加速器のための推論コンテキスト対応重みマッピングアルゴリズムであるCAMP(Context-Aware Mapping and Placement)を提案する。 CAMPは、アーキテクチャ、ターゲットネットワーク、ランタイムコンテキストから生じる潜在的なリソース競合を競合行列でキャプチャし、スループット最適化された重みマッピングを可能にする。 このマッピングは、プロファイリング駆動のフィードバックループによって洗練され、探索空間を効率よくプーンし、実用的なランタイム内で最適化されたマッピングを返す。 CAMPは、ハードウェアの変更を必要とせず、3D-IMCの計算効率を42.4%から60.3%に改善したオフラインのソフトウェアベースのソリューションである。

関連論文リスト

• CLIP-Map: Structured Matrix Mapping for Parameter-Efficient CLIP Compression [70.45437536012015]
  Contrastive Language-Image Pre-Training (CLIP) はコンピュータビジョンタスクに広く応用されている。 CLIPは高いメモリと計算コストに悩まされており、リソース制限されたアプリケーションシナリオの使用を禁止している。 本稿では,新しいCLIP圧縮フレームワークであるCLIP-Mapを提案する。
  論文  参考訳（メタデータ） (2026-02-05T17:25:16Z)
• Sparse Attention Remapping with Clustering for Efficient LLM Decoding on PIM [7.651654889371008]
  トランスフォーマーベースのモデルは現代の機械学習の基礎であるが、その実行はメモリシステムに大きな圧力をかける。 プロセッシング・イン・メモリ(PIM)アーキテクチャは、メモリ近傍で高い内部帯域幅と計算並列性を提供する、有望なソリューションである。 現在のPIM設計は、主に、KVキャッシュスパーシリティ技術によって導入された動的で不規則なアクセスパターンに対処するために最適化されている。
  論文  参考訳（メタデータ） (2025-05-09T04:17:05Z)
• L3: DIMM-PIM Integrated Architecture and Coordination for Scalable Long-Context LLM Inference [6.886434948681708]
  大きな言語モデル(LLM)では、長いテキストシーケンスの処理がますます必要になるが、GPUメモリの制限により、メモリ容量と帯域幅のトレードオフが困難になる。 重要なメモリボトルネックは、マルチヘッドアテンションの復号フェーズにある。 本稿では,DIMM-PIMとGPUデバイスを統合したハードウェア・ソフトウェア共同設計システムであるL3を提案する。
  論文  参考訳（メタデータ） (2025-04-24T14:14:07Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• WWW: What, When, Where to Compute-in-Memory [6.944507442667191]
  行列乗算は機械学習(ML)推論において支配的な計算である。 このような乗算処理を効率的に行うために、CiM(Compute-in-Memory)パラダイムが高エネルギー効率のソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-26T06:16:12Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。