論文の概要: Rethinking the Outlier Distribution in Large Language Models: An In-depth Study

• arxiv url: http://arxiv.org/abs/2505.21670v1
• Date: Tue, 27 May 2025 18:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.238257
• Title: Rethinking the Outlier Distribution in Large Language Models: An In-depth Study
• Title（参考訳）: 大規模言語モデルにおける外乱分布の再考 : 詳細な研究
• Authors: Rahul Raman, Khushi Sharma, Sai Qian Zhang,
• Abstract要約: 外乱は、しばしば相当量の量子化エラーを引き起こし、劣化したモデル性能をもたらす。 近年の研究では、大規模なアクティベーション(英語版)とチャネルワイド・アウトリーチ(英語版)という、大きな言語モデルにおける2つの一般的なアウトリーチが特定されている。
• 参考スコア（独自算出の注目度）: 4.740962650068888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Investigating outliers in large language models (LLMs) is crucial due to their significant impact on various aspects of LLM performance, including quantization and compression. Outliers often cause considerable quantization errors, leading to degraded model performance. Identifying and addressing these outliers can enhance the accuracy and efficiency of the quantization process, enabling smoother deployment on edge devices or specialized hardware. Recent studies have identified two common types of outliers in LLMs: massive activations and channel-wise outliers. While numerous quantization algorithms have been proposed to mitigate their effects and maintain satisfactory accuracy, few have thoroughly explored the root causes of these outliers in depth. In this paper, we conduct a comprehensive investigation into the formation mechanisms of these outliers and propose potential strategies to mitigate their occurrence. Ultimately, we introduce some efficient approaches to eliminate most massive activations and channel-wise outliers with minimal impact on accuracy.
• Abstract（参考訳）: 大規模言語モデル(LLM)における外れ値の調査は、量子化や圧縮など、LLMのパフォーマンスの様々な側面に大きな影響を与えるため、非常に重要である。 外乱は、しばしば相当量の量子化エラーを引き起こし、劣化したモデル性能をもたらす。 これらの外れ値の特定と対応により、量子化プロセスの正確性と効率が向上し、エッジデバイスや専用ハードウェアへのよりスムーズな展開が可能になる。 近年の研究では、LLMの2つの共通な型である、大規模な活性化とチャネルワイド・アウトリーの2つが同定されている。 それらの効果を緩和し、良好な精度を維持するために多くの量子化アルゴリズムが提案されているが、これらの外れ値の根本原因を深く調べているものはほとんどない。 本稿では,これらのアウトレーラの形成機構を包括的に調査し,その発生を緩和するための潜在的戦略を提案する。 最終的に、我々は、ほとんどの大規模なアクティベーションとチャネルワイド・アウトリーチを、精度に最小限の影響で除去する効率的なアプローチをいくつか導入する。

関連論文リスト

• Precision Where It Matters: A Novel Spike Aware Mixed-Precision Quantization Strategy for LLaMA-based Language Models [1.4999444543328293]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な機能を示した。 本稿では,LLaMAアーキテクチャとその導関数に着目し,LLMの量子化について検討する。 LLaMAモデルに適した新しい混合精度量子化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-30T11:52:18Z)
• Systematic Outliers in Large Language Models [41.2150163753952]
  外乱はLarge Language Models (LLM) で広く観測されている。 LLMの生成過程,根本原因,機能について詳細な解析を行った。
  論文  参考訳（メタデータ） (2025-02-10T12:54:17Z)
• DuQuant: Distributing Outliers via Dual Transformation Makes Stronger Quantized LLMs [40.48697728884967]
  大規模言語モデル(LLM)の量子化は、特に外部アクティベーションの存在により、大きな課題に直面している。 伝統的なアプローチは、比較的大きな大きさの全てのトークンをまたいだ活性化であるノーマル・アウトリエに主に対応している。 DuQuantは回転変換と置換変換を利用して、大量および正常な外れ値の両方をより効果的に緩和する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-06-03T18:27:44Z)
• Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs [27.38239289662178]
  学習後量子化(PTQ)は大規模言語モデル(LLM)の効率を向上させる PTQにおける校正セットの役割,特に隠れ活性化に対する効果について検討する。 我々の分析では、利用可能なモデル間で量子化の有効性に顕著なコントラストが示される。
  論文  参考訳（メタデータ） (2024-05-31T14:24:33Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。