論文の概要: Chameleon: a heterogeneous and disaggregated accelerator system for retrieval-augmented language models

• arxiv url: http://arxiv.org/abs/2310.09949v3
• Date: Wed, 29 Nov 2023 16:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 00:42:34.037922
• Title: Chameleon: a heterogeneous and disaggregated accelerator system for retrieval-augmented language models
• Title（参考訳）: Chameleon: 検索強化言語モデルのための異種・非凝集型加速器システム
• Authors: Wenqi Jiang, Marco Zeller, Roger Waleffe, Torsten Hoefler, Gustavo Alonso
• Abstract要約: 検索言語モデル(Retrieval-Augmented Language Model)は、外部データベースからコンテキスト固有の知識を取得することによって、生成言語モデルを拡張する。 ALMは、LM推論と検索の間に様々なワークロード特性があるため、ユニークなシステム設計の課題を提起する。 異種加速器であるChameleonを提案する。
• 参考スコア（独自算出の注目度）: 21.76387498824008
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A Retrieval-Augmented Language Model (RALM) augments a generative language model by retrieving context-specific knowledge from an external database. This strategy facilitates impressive text generation quality even with smaller models, thus reducing orders of magnitude of computational demands. However, RALMs introduce unique system design challenges due to (a) the diverse workload characteristics between LM inference and retrieval and (b) the various system requirements and bottlenecks for different RALM configurations such as model sizes, database sizes, and retrieval frequencies. We propose Chameleon, a heterogeneous accelerator system that integrates both LM and retrieval accelerators in a disaggregated architecture. The heterogeneity ensures efficient acceleration of both LM inference and retrieval, while the accelerator disaggregation enables the system to independently scale both types of accelerators to fulfill diverse RALM requirements. Our Chameleon prototype implements retrieval accelerators on FPGAs and assigns LM inference to GPUs, with a CPU server orchestrating these accelerators over the network. Compared to CPU-based and CPU-GPU vector search systems, Chameleon achieves up to 23.72x speedup and 26.2x energy efficiency. Evaluated on various RALMs, Chameleon exhibits up to 2.16x reduction in latency and 3.18x speedup in throughput compared to the hybrid CPU-GPU architecture. These promising results pave the way for bringing accelerator heterogeneity and disaggregation into future RALM systems.
• Abstract（参考訳）: Retrieval-Augmented Language Model (RALM)は、外部データベースからコンテキスト固有の知識を取得することで、生成言語モデルを拡張する。 この戦略は、小さなモデルでも印象的なテキスト生成品質を促進し、計算要求の桁違いを削減します。 しかし、ALMは独自のシステム設計の課題を導入している。 (a)lm推論と検索の多様なワークロード特性 (b)モデルサイズ,データベースサイズ,検索頻度など,さまざまなALM構成に対するさまざまなシステム要件とボトルネック。 分散アーキテクチャにおいてlmと検索アクセラレータを統合したヘテロジニアスアクセラレータシステムchameleonを提案する。 不均一性は、LM推論と検索の両方の効率的な加速を保証する一方、加速器の分解により、システムは両方のタイプの加速器を独立にスケールし、様々なRALM要求を満たすことができる。 我々のChameleonプロトタイプはFPGA上で検索アクセラレータを実装し、LM推論をGPUに割り当て、CPUサーバがこれらのアクセラレータをネットワーク上でオーケストレーションする。 CPUベースとCPU-GPUベクターサーチシステムと比較して、Chameleonは最大23.72倍のスピードアップと26.2倍のエネルギー効率を実現している。 様々なRALMを評価したChameleonは、ハイブリッドCPU-GPUアーキテクチャと比較してレイテンシが2.16倍、スループットが3.18倍に向上した。 これらの有望な結果は、将来のRALMシステムに加速器の不均一性と分解をもたらす道を開く。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference [2.9302211589186244]
  大規模言語モデル(LLM)は自然言語処理を変換し、機械が人間のようなテキストを生成し、意味のある会話を行うことを可能にする。 計算と記憶能力の発達はムーアの法則の廃止によってさらに悪化している。 コンピュート・イン・メモリ(CIM)技術は、メモリ内でアナログ計算を直接実行することにより、AI推論を加速するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-12T16:57:58Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• LearningGroup: A Real-Time Sparse Training on FPGA via Learnable Weight Grouping for Multi-Agent Reinforcement Learning [2.0625936401496237]
  マルチエージェント強化学習(MARL)は,対話型人工知能システムを構築するための強力な技術である。 本稿では,学習グループというリアルタイムスパース学習促進システムを提案する。 本システムでは,スパースデータ生成のサイクル時間とメモリフットプリントを最大5.72倍,6.81倍まで最小化する。
  論文  参考訳（メタデータ） (2022-10-29T15:09:34Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)
• H2H: Heterogeneous Model to Heterogeneous System Mapping with Computation and Communication Awareness [16.244832640402496]
  本稿では,計算と通信の双方を意識した新しいマッピングアルゴリズムを提案する。 通信の計算をわずかに交換することで、システム全体のレイテンシとエネルギー消費を大幅に削減することができる。 本研究の優れた性能は,MAESTROモデリングに基づいて評価される。
  論文  参考訳（メタデータ） (2022-04-29T02:26:18Z)
• LiteTransformerSearch: Training-free On-device Search for Efficient Autoregressive Language Models [34.673688610935876]
  モデルトレーニングを必要とせずに、レイテンシとパープレクシリティが最前線に現れることを示す。 我々は,多種多様なデバイス上での軽量トランスフォーマーサーチ (LTS) の評価を行った。 最大2倍のレイテンシでTransformer-XLのパープレキシティを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-03-04T02:10:43Z)
• Union: A Unified HW-SW Co-Design Ecosystem in MLIR for Evaluating Tensor Operations on Spatial Accelerators [4.055002321981825]
  We present a HW-SW co-design ecosystem for space accelerators called Union。 我々のフレームワークは、いくつかのアクセラレータコストモデル上で、異なるアルゴリズムとそのマッピングを探索することができる。 コミュニティにとってのユニオンの価値をいくつかのケーススタディで実証する。
  論文  参考訳（メタデータ） (2021-09-15T16:42:18Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。