論文の概要: Basis Selection: Low-Rank Decomposition of Pretrained Large Language Models for Target Applications

• arxiv url: http://arxiv.org/abs/2405.15877v1
• Date: Fri, 24 May 2024 18:40:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 02:20:04.355510
• Title: Basis Selection: Low-Rank Decomposition of Pretrained Large Language Models for Target Applications
• Title（参考訳）: Basis Selection: ターゲットアプリケーションのための事前訓練された大規模言語モデルの低ランク分解
• Authors: Yang Li, Changsheng Zhao, Hyungtak Lee, Ernie Chang, Yangyang Shi, Vikas Chandra,
• Abstract要約: 大規模言語モデル(LLM)は様々なアプリケーションの性能を著しく向上させるが、計算集約的でエネルギー需要が高い。 これにより、パーソナルコンピュータやモバイル/ウェアラブルデバイスといった限られたリソースを持つデバイスにデプロイすることが困難になる。 我々は、これらのモデルを効果的に圧縮するために、特定のアプリケーションの要求に合わせて低ランク分解アプローチを導入する。
• 参考スコア（独自算出の注目度）: 17.141509086646785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) significantly enhance the performance of various applications, but they are computationally intensive and energy-demanding. This makes it challenging to deploy them on devices with limited resources, such as personal computers and mobile/wearable devices, and results in substantial inference costs in resource-rich environments like cloud servers. To extend the use of LLMs, we introduce a low-rank decomposition approach to effectively compress these models, tailored to the requirements of specific applications. We observe that LLMs pretrained on general datasets contain many redundant components not needed for particular applications. Our method focuses on identifying and removing these redundant parts, retaining only the necessary elements for the target applications. Specifically, we represent the weight matrices of LLMs as a linear combination of base components. We then prune the irrelevant bases and enhance the model with new bases beneficial for specific applications. Deep compression results on the Llama 2-7b and -13B models, conducted on target applications including mathematical reasoning and code generation, show that our method significantly reduces model size while maintaining comparable accuracy to state-of-the-art low-rank compression techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なアプリケーションの性能を著しく向上させるが、計算集約的でエネルギー需要が高い。 これにより、パーソナルコンピュータやモバイル/ウェアラブルデバイスのような限られたリソースを持つデバイスにそれらをデプロイすることは困難になり、結果としてクラウドサーバのようなリソース豊富な環境において、かなりの推論コストが発生する。 LLMの使用を拡大するために、特定のアプリケーションの要求に合わせて、これらのモデルを効果的に圧縮する低ランク分解手法を導入する。 汎用データセット上で事前訓練されたLCMには、特定のアプリケーションに不要な多くの冗長なコンポーネントが含まれていることが観察された。 本手法では,これらの冗長部分の特定と削除に重点を置いており,対象アプリケーションに必要な要素のみを保持する。 具体的には,LLMの重み行列を基本成分の線形結合として表現する。 そして、関係のないベースを訓練し、特定のアプリケーションに有用な新しいベースでモデルを強化します。 Llama 2-7b モデルと -13B モデルの深部圧縮結果から,提案手法は,最先端の低ランク圧縮技術に匹敵する精度を維持しつつ,モデルサイズを大幅に削減することを示す。

関連論文リスト

• A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• Evaluating the Generalization Ability of Quantized LLMs: Benchmark, Analysis, and Toolbox [46.39670209441478]
  大規模言語モデル(LLM)は、複数のシナリオでエキサイティングな進歩を見せている。 メモリフットプリントと推論コストを削減する効果的な方法として、量子化は低ビット幅での性能劣化にも直面する。 この研究は、評価システム、詳細な分析、一般的なツールボックスを含む、この研究トピックのための包括的なベンチマークスイートを提供する。
  論文  参考訳（メタデータ） (2024-06-15T12:02:14Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices [34.771041231922915]
  資源制約のある計算環境がパーソナライズされたLLMの設計選択にどのように影響するかを検討する。 いくつかの重要な設計要因のトレードオフと、学習効率と正確性に対するそれらの相互干渉の影響を考察する。
  論文  参考訳（メタデータ） (2024-06-06T06:41:53Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Specularity Factorization for Low-Light Enhancement [2.7961648901433134]
  本稿では,複数の潜伏成分からなる画像を扱う付加的な画像分解手法を提案する。 当社のモデル駆動型EM RSFNetは,最適化をネットワーク層に展開することで,これらの要因を推定する。 結果の因子は設計によって解釈可能であり、ネットワークを介して異なる画像強調タスクに融合したり、直接ユーザによって結合したりすることができる。
  論文  参考訳（メタデータ） (2024-04-02T14:41:42Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。