論文の概要: TensorSLM: Energy-efficient Embedding Compression of Sub-billion Parameter Language Models on Low-end Devices

• arxiv url: http://arxiv.org/abs/2506.13514v1
• Date: Mon, 16 Jun 2025 14:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.682903
• Title: TensorSLM: Energy-efficient Embedding Compression of Sub-billion Parameter Language Models on Low-end Devices
• Title（参考訳）: TensorSLM:ローエンドデバイス上でのサブビリオンパラメータ言語モデルのエネルギー効率を考慮した埋め込み圧縮
• Authors: Mingxue Xu, Yao Lei Xu, Danilo P. Mandic,
• Abstract要約: 本論文では,Train Decomposition (TTD) を用いたトレーニングフリートークン埋め込み圧縮手法を提案する。 典型的なローエンドデバイスであるRaspberry Pi上で,圧縮率,言語タスク性能,レイテンシ,省エネ性を考慮した低ランク構造の評価を行った。
• 参考スコア（独自算出の注目度）: 19.897367559948336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small Language Models (SLMs, or on-device LMs) have significantly fewer parameters than Large Language Models (LLMs). They are typically deployed on low-end devices, like mobile phones and single-board computers. Unlike LLMs, which rely on increasing model size for better generalisation, SLMs designed for edge applications are expected to have adaptivity to the deployment environments and energy efficiency given the device battery life constraints, which are not addressed in datacenter-deployed LLMs. This paper addresses these two requirements by proposing a training-free token embedding compression approach using Tensor-Train Decomposition (TTD). Each pre-trained token embedding vector is converted into a lower-dimensional Matrix Product State (MPS). We comprehensively evaluate the extracted low-rank structures across compression ratio, language task performance, latency, and energy consumption on a typical low-end device, i.e. Raspberry Pi. Taking the sub-billion parameter versions of GPT-2/Cerebres-GPT and OPT models as examples, our approach achieves a comparable language task performance to the original model with around $2.0\times$ embedding layer compression, while the energy consumption of a single query drops by half.
• Abstract（参考訳）: 小型言語モデル (SLM) は大規模言語モデル (LLM) よりもはるかに少ないパラメータを持つ。 通常は携帯電話やシングルボードコンピュータなどのローエンドデバイスにデプロイされる。 モデルサイズの増大に依存するLCMとは異なり、エッジアプリケーション用に設計されたSLMは、データセンターに配備されたLSMでは対処されないデバイスバッテリー寿命の制約により、配置環境への適応性とエネルギー効率が期待できる。 本稿では, テンソル・トレイン分解(TTD)を用いた無トレーニングトークン埋め込み圧縮手法を提案することにより, これら2つの要件に対処する。 各事前訓練されたトークン埋め込みベクトルは、低次元のマトリックス製品状態(MPS)に変換される。 我々は,典型的なローエンドデバイスであるRaspberry Pi上で,圧縮率,言語タスク性能,レイテンシ,エネルギー消費といった,抽出した低ランク構造を包括的に評価した。 GPT-2/Cerebres-GPTモデルとOPTモデルのサブビリオンパラメータバージョンを例にとり、本手法は1つのクエリのエネルギー消費量を半分に抑えながら、約$2.0\times$埋め込み層圧縮で元のモデルに匹敵する言語タスク性能を実現する。

関連論文リスト

• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Sketch to Adapt: Fine-Tunable Sketches for Efficient LLM Adaptation [33.05581803204543]
  事前訓練された大規模言語モデル(LLM)の適応は極めて重要であるが、その巨大なサイズのため困難である。 スケッチチューン(SketchTune)は、重みをコンパクトな微調整可能なスケッチに圧縮する圧縮適応戦略である。 SketchTuneは、低ランクメソッドではなくスケッチによって近似された行列クラスに関する数学的洞察によってサポートされている。
  論文  参考訳（メタデータ） (2024-10-08T20:58:24Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Quantized Transformer Language Model Implementations on Edge Devices [1.2979415757860164]
  Bidirectional Representations from Transformers (BERT) のような大規模なトランスフォーマーベースモデルは自然言語処理(NLP)アプリケーションに広く利用されている。 これらのモデルは最初、数百万のパラメータを持つ大きなコーパスで事前訓練され、下流のNLPタスクのために微調整される。 これらの大規模モデルの大きな制限の1つは、大きなモデルサイズと推論遅延の増加のため、リソース制限されたデバイスにデプロイできないことである。
  論文  参考訳（メタデータ） (2023-10-06T01:59:19Z)
• TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition [19.897367559948336]
  行列-トレイン分解(TTD)に基づく学習自由モデル圧縮手法を提案する。 次に,本手法により抽出された低ランク構造を,典型的なローエンドデバイス(Raspberry Pi)の圧縮率,言語タスク性能,レイテンシの観点から検討する。
  論文  参考訳（メタデータ） (2023-07-02T09:33:09Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization [27.79783067245817]
  大規模言語モデル(LLM)は、高いメモリ要求と計算コストのため、微調整とデプロイメントの課題に直面している。 本稿では,PEFT と量子化 LLM の利点を組み合わせた簡易かつ効果的な手法である PEQA (Efficient Adaptation and Quantization-aware) を提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:20:01Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。