論文の概要: A Survey of Low-bit Large Language Models: Basics, Systems, and Algorithms

• arxiv url: http://arxiv.org/abs/2409.16694v2
• Date: Mon, 30 Sep 2024 12:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:07:49.463530
• Title: A Survey of Low-bit Large Language Models: Basics, Systems, and Algorithms
• Title（参考訳）: 低ビット大言語モデルに関する調査:基礎,システム,アルゴリズム
• Authors: Ruihao Gong, Yifu Ding, Zining Wang, Chengtao Lv, Xingyu Zheng, Jinyang Du, Haotong Qin, Jinyang Guo, Michele Magno, Xianglong Liu,
• Abstract要約: 大規模言語モデル (LLM) は自然言語処理において顕著な進歩を遂げている。 しかし、高価なメモリと計算の要求は、その実践的な展開に重大な課題をもたらしている。 低ビット量子化は、モデルパラメータのビット幅を減らすことでこれらの課題を緩和するための重要なアプローチとして現れている。
• 参考スコア（独自算出の注目度）: 34.818641985348805
• License:
• Abstract: Large language models (LLMs) have achieved remarkable advancements in natural language processing, showcasing exceptional performance across various tasks. However, the expensive memory and computational requirements present significant challenges for their practical deployment. Low-bit quantization has emerged as a critical approach to mitigate these challenges by reducing the bit-width of model parameters, activations, and gradients, thus decreasing memory usage and computational demands. This paper presents a comprehensive survey of low-bit quantization methods tailored for LLMs, covering the fundamental principles, system implementations, and algorithmic strategies. An overview of basic concepts and new data formats specific to low-bit LLMs is first introduced, followed by a review of frameworks and systems that facilitate low-bit LLMs across various hardware platforms. Then, we categorize and analyze techniques and toolkits for efficient low-bit training and inference of LLMs. Finally, we conclude with a discussion of future trends and potential advancements of low-bit LLMs. Our systematic overview from basic, system, and algorithm perspectives can offer valuable insights and guidelines for future works to enhance the efficiency and applicability of LLMs through low-bit quantization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げており、様々なタスクにおいて例外的な性能を示している。 しかし、高価なメモリと計算の要求は、その実践的な展開に重大な課題をもたらしている。 低ビット量子化は、モデルパラメータ、アクティベーション、勾配のビット幅を減らし、メモリ使用量と計算要求を減らし、これらの課題を軽減する重要なアプローチとして現れてきた。 本稿では,LLMに適した低ビット量子化手法の包括的調査を行い,基本原理,システム実装,アルゴリズム戦略について述べる。 低ビット LLM に特有の基本概念と新しいデータフォーマットの概要が最初に紹介され、その後様々なハードウェアプラットフォームで低ビット LLM を促進するフレームワークとシステムのレビューが行われた。 次に,LLMの効率的な低ビットトレーニングと推論のための手法とツールキットを分類,解析する。 最後に,低ビットLLMの今後の動向と今後の発展について論じる。 低ビット量子化によるLCMの効率性と適用性を高めるため, 基本, システム, アルゴリズムの観点からの体系的な概要は, 今後の研究に有用な洞察とガイドラインを提供することができる。

関連論文リスト

• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 我々のフレームワークはLLMベースのアルゴリズムの進歩を約束している。 LLMアルゴリズムのさらなる研究を促進するため、ソースコードはhttps://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithmで公開しています。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示す。 本稿では,テキストベースの生成IoT(GIoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• A Survey on Efficient Inference for Large Language Models [25.572035747669275]
  大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。 LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。 本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
  論文  参考訳（メタデータ） (2024-04-22T15:53:08Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• A Comprehensive Evaluation of Quantization Strategies for Large Language Models [42.03804933928227]
  大規模言語モデル(LLM)におけるパラメータの数を増やすことで、ダウンストリームタスクのパフォーマンスが向上するが、計算とメモリコストが上昇する。 モデルウェイトやアクティベーションに必要なビットを最小性能で削減する量子化技術が普及している。 本稿では,知識とキャパシティ,(2)アライメント,(3)効率の3つの重要な次元からなる構造化評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-26T17:45:36Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• PB-LLM: Partially Binarized Large Language Models [14.244537605866864]
  本稿では,Large Language Models (LLMs) 圧縮のために,モデル重みを1ビットに圧縮するネットワークバイナライゼーションについて検討する。 本稿では,LLMの言語的推論能力を維持しつつ,極端に低ビットの量子化を実現する手法として,PB-LLM(Partial-Binarized LLM)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T14:35:27Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。