論文の概要: Mamba-PTQ: Outlier Channels in Recurrent Large Language Models

• arxiv url: http://arxiv.org/abs/2407.12397v1
• Date: Wed, 17 Jul 2024 08:21:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:57:42.042245
• Title: Mamba-PTQ: Outlier Channels in Recurrent Large Language Models
• Title（参考訳）: Mamba-PTQ: 逐次大規模言語モデルにおける外部チャネル
• Authors: Alessandro Pierro, Steven Abreu,
• Abstract要約: 本研究では,マンバモデルが注目型LLMで観測された異常チャネルと同じパターンを示すことを示す。 本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern recurrent layers are emerging as a promising path toward edge deployment of foundation models, especially in the context of large language models (LLMs). Compressing the whole input sequence in a finite-dimensional representation enables recurrent layers to model long-range dependencies while maintaining a constant inference cost for each token and a fixed memory requirement. However, the practical deployment of LLMs in resource-limited environments often requires further model compression, such as quantization and pruning. While these techniques are well-established for attention-based models, their effects on recurrent layers remain underexplored. In this preliminary work, we focus on post-training quantization for recurrent LLMs and show that Mamba models exhibit the same pattern of outlier channels observed in attention-based LLMs. We show that the reason for the difficulty of quantizing SSMs is caused by activation outliers, similar to those observed in transformer-based LLMs. We report baseline results for post-training quantization of Mamba that do not take into account the activation outliers and suggest first steps for outlier-aware quantization.
• Abstract（参考訳）: 最新のリカレントレイヤは、特に大規模言語モデル(LLM)のコンテキストにおいて、基礎モデルのエッジデプロイメントへの有望な道として現れています。 有限次元表現で入力シーケンス全体を圧縮することにより、各トークンに対する一定の推論コストと固定メモリ要求を維持しながら、繰り返しレイヤが長距離依存をモデル化することができる。 しかし、資源制限された環境でのLLMの実践的な展開は、量子化やプルーニングのようなさらなるモデル圧縮を必要とすることが多い。 これらの手法は注意に基づくモデルでは十分に確立されているが、繰り返し発生する層に対する影響は未解明のままである。 本稿では,再帰型LDMの学習後量子化に着目し,注意型LDMで観測される外れ値チャネルのパターンが,Mambaモデルと同じであることを示す。 本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。 本稿では,アクティベーションアウトレーヤを考慮しないMambaのトレーニング後量子化のベースライン結果について報告する。

関連論文リスト

• MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs [38.93090238335506]
  非意味な入力属性と予測対象変数の急激な相関を利用する傾向にあるスパースバイアスは、単一のモダリティデータに基づいて訓練されたディープラーニングモデルに深刻な落とし穴があることを明らかにした。 本稿では,9つの異なる相関関係のカテゴリに対するMLLMの信頼度を評価するために,包括的視覚質問応答(VQA)ベンチマークであるMM-SpuBenchを紹介する。 以上の結果から,これらのモデルからの素因相関への依存の持続性を明らかにし,素因バイアスを緩和する新たな手法の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-06-24T20:29:16Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。 この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• Model Composition for Multimodal Large Language Models [73.70317850267149]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Why Lift so Heavy? Slimming Large Language Models by Cutting Off the Layers [2.1165011830664673]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対処する際、優れた能力を持っている。 これらのモデルの厳密なサイズは、ストレージ、トレーニング、推論において、層積み重ねによる数十億のパラメータを含むため、課題を生じさせる。 レイヤが少なくても、LLMは、特にテキスト分類タスクのプロンプトベースの微調整において、類似またはより良いパフォーマンスレベルを維持していることを示す。
  論文  参考訳（メタデータ） (2024-02-18T20:47:10Z)
• Revisiting Recurrent Reinforcement Learning with Memory Monoids [11.302674177386383]
  我々は、リカレントニューラルネットワーク(RNN)や部分観測可能な決定変換器(POMDP)などのメモリモデルについて検討する。 特にリニアリカレントモデルと呼ばれる新しいクラスのメモリモデルと比較すると、どちらのモデルも特に長いシーケンスにうまくスケールしない。 本稿では,RLにおける再帰損失関数の実装を簡略化し,サンプル効率を改善し,リターンを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T11:56:53Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• PB-LLM: Partially Binarized Large Language Models [14.244537605866864]
  本稿では,Large Language Models (LLMs) 圧縮のために,モデル重みを1ビットに圧縮するネットワークバイナライゼーションについて検討する。 本稿では,LLMの言語的推論能力を維持しつつ,極端に低ビットの量子化を実現する手法として,PB-LLM(Partial-Binarized LLM)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T14:35:27Z)
• Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
  強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
  論文  参考訳（メタデータ） (2021-06-03T17:58:51Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。