Fugu-MT 論文翻訳(概要): Basis Selection: Low-Rank Decomposition of Pretrained Large Language Models for Target Applications

論文の概要: Basis Selection: Low-Rank Decomposition of Pretrained Large Language Models for Target Applications

arxiv url: http://arxiv.org/abs/2405.15877v1
Date: Fri, 24 May 2024 18:40:20 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 02:20:04.355510
Title: Basis Selection: Low-Rank Decomposition of Pretrained Large Language Models for Target Applications
Title（参考訳）: Basis Selection: ターゲットアプリケーションのための事前訓練された大規模言語モデルの低ランク分解
Authors: Yang Li, Changsheng Zhao, Hyungtak Lee, Ernie Chang, Yangyang Shi, Vikas Chandra,
Abstract要約: 大規模言語モデル(LLM)は様々なアプリケーションの性能を著しく向上させるが、計算集約的でエネルギー需要が高い。これにより、パーソナルコンピュータやモバイル/ウェアラブルデバイスといった限られたリソースを持つデバイスにデプロイすることが困難になる。我々は、これらのモデルを効果的に圧縮するために、特定のアプリケーションの要求に合わせて低ランク分解アプローチを導入する。
参考スコア（独自算出の注目度）: 17.141509086646785
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) significantly enhance the performance of various applications, but they are computationally intensive and energy-demanding. This makes it challenging to deploy them on devices with limited resources, such as personal computers and mobile/wearable devices, and results in substantial inference costs in resource-rich environments like cloud servers. To extend the use of LLMs, we introduce a low-rank decomposition approach to effectively compress these models, tailored to the requirements of specific applications. We observe that LLMs pretrained on general datasets contain many redundant components not needed for particular applications. Our method focuses on identifying and removing these redundant parts, retaining only the necessary elements for the target applications. Specifically, we represent the weight matrices of LLMs as a linear combination of base components. We then prune the irrelevant bases and enhance the model with new bases beneficial for specific applications. Deep compression results on the Llama 2-7b and -13B models, conducted on target applications including mathematical reasoning and code generation, show that our method significantly reduces model size while maintaining comparable accuracy to state-of-the-art low-rank compression techniques.
Abstract（参考訳）: 大規模言語モデル(LLM)は様々なアプリケーションの性能を著しく向上させるが、計算集約的でエネルギー需要が高い。これにより、パーソナルコンピュータやモバイル/ウェアラブルデバイスのような限られたリソースを持つデバイスにそれらをデプロイすることは困難になり、結果としてクラウドサーバのようなリソース豊富な環境において、かなりの推論コストが発生する。 LLMの使用を拡大するために、特定のアプリケーションの要求に合わせて、これらのモデルを効果的に圧縮する低ランク分解手法を導入する。汎用データセット上で事前訓練されたLCMには、特定のアプリケーションに不要な多くの冗長なコンポーネントが含まれていることが観察された。本手法では,これらの冗長部分の特定と削除に重点を置いており,対象アプリケーションに必要な要素のみを保持する。具体的には,LLMの重み行列を基本成分の線形結合として表現する。そして、関係のないベースを訓練し、特定のアプリケーションに有用な新しいベースでモデルを強化します。 Llama 2-7b モデルと -13B モデルの深部圧縮結果から,提案手法は,最先端の低ランク圧縮技術に匹敵する精度を維持しつつ,モデルサイズを大幅に削減することを示す。

関連論文リスト

A Comprehensive Study on Quantization Techniques for Large Language Models [0.0]
大規模言語モデル(LLM)は、学術と産業の両方で広く研究され、利用されている。 LLMは、リソースに制約のあるIoTデバイスや組み込みシステムにデプロイする上で、重大な課題を提示している。量子化(Quantization)は、モデルの値の精度を小さな離散値のセットに縮める技術であり、有望な解決策を提供する。
論文参考訳（メタデータ） (2024-10-30T04:55:26Z)
Search for Efficient Large Language Models [52.98684997131108]
大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
論文参考訳（メタデータ） (2024-09-25T21:32:12Z)
Contemporary Model Compression on Large Language Models Inference [7.307436175842646]
大規模言語モデル(LLM)は、様々なタスクで最先端の結果を達成することによって、自然言語処理に革命をもたらした。 LLM推論の計算要求は、高いメモリ消費と遅い処理速度を含み、現実世界のアプリケーションにとって大きな課題となっている。本研究では, LLMのサイズと計算量を削減することにより, これらの課題に対処するモデル圧縮技術について検討する。
論文参考訳（メタデータ） (2024-09-03T15:35:01Z)
Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
論文参考訳（メタデータ） (2024-08-20T09:42:17Z)
Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文参考訳（メタデータ） (2024-08-07T04:20:28Z)
Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
論文参考訳（メタデータ） (2024-06-13T07:57:27Z)
Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices [32.61693246340064]
資源制約のある計算環境がパーソナライズされたLLMの設計選択にどのように影響するかを検討する。いくつかの重要な設計要因のトレードオフと、学習効率と正確性に対するそれらの相互干渉の影響を考察する。
論文参考訳（メタデータ） (2024-06-06T06:41:53Z)
LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文参考訳（メタデータ） (2024-05-09T11:49:05Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。