論文の概要: Measuring Maximum Activations in Open Large Language Models
- arxiv url: http://arxiv.org/abs/2605.15572v1
- Date: Fri, 15 May 2026 03:31:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 03:45:13.154832
- Title: Measuring Maximum Activations in Open Large Language Models
- Title（参考訳）: オープン大言語モデルにおける最大アクティベーションの測定
- Abstract要約: 集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
- 参考スコア（独自算出の注目度）: 60.3514350516308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The dynamic range of activations is a first-order constraint for low-bit quantization, activation scaling, and stable LLM inference. Prior work characterized outlier features and massive activations on pre-2024 LLaMA-style models, and the downstream activation-quantization stack inherits that picture without revisiting it for the post-LLaMA open-model boom. We ask the deployment-oriented question: how large can activations get in modern open LLMs, and how does this magnitude vary across families, generations, and training stages? Under a unified pipeline (5,000-sample multi-domain corpus, family-specific tokenization, identical hooks across embeddings, hidden states, attention, MLP/MoE, SwiGLU gates, and final norm), we measure global and layerwise maxima on 27 checkpoints from 8 open families spanning dense, MoE, vision-language, intermediate-training, and instruction-tuned variants. We find that (i) global maxima span over nearly four orders of magnitude at comparable parameter counts, with Qwen3.5 and MoE checkpoints in the 10^2 to 10^3 range and Gemma3-27B-it reaching ~7 x 10^5; (ii) cross-family and cross-generation comparisons break simple monotonic scaling; and (iii) MoE checkpoints exhibit 14.0-23.4x lower peaks than matched-scale dense counterparts, while the residual stream carries the global maximum in 22/24 checkpoints. A lightweight INT-8 sanity check shows that measured maxima co-vary with low-bit reconstruction error via activation-scale selection. We conclude that maximum activation magnitude is a model property tied to family, architecture, and training stage - not a simple byproduct of size - and should be measured and reported alongside any open-weight release before low-bit deployment. The code is publicly available at https://github.com/clx1415926/Max_act_llm.
- Abstract（参考訳）: アクティベーションのダイナミックレンジは、低ビット量子化、アクティベーションスケーリング、安定したLCM推論のための1次制約である。
以前の作業では、2024年以前のLLaMAスタイルのモデルで異常な特徴と大規模なアクティベーションを特徴としており、下流のアクティベーション量子化スタックはその画像をLLaMA後のオープンモデルブームのために再検討することなく継承している。
現代のオープンなLLMではどの程度のアクティベーションが達成できるのか、家族、世代、トレーニング段階によってどの程度の規模で異なるのか?
統合パイプライン(5000サンプルのマルチドメインコーパス、家族固有のトークン化、埋め込み、隠された状態、注意、MLP/MoE、SwiGLUゲート、最終ノルム)では、密集、MoE、視覚言語、中間訓練、および命令調整された変種にまたがる8つのオープンファミリーの27のチェックポイントで、グローバルおよび階層的に最大値を測定する。
私たちはそれを見つける。
(i)大域最大値は、Qwen3.5とMoEチェックポイントが10^2から10^3の範囲にあり、Gemma3-27B-itは7×10^5である。
(II)クロスファミリーとクロスジェネレーションの比較は単純な単調スケーリングを破り、
(iii)MoEチェックポイントは、マッチしたスケールの高密度なピークよりも14.0-23.4倍低いピークを示し、残留ストリームは22/24チェックポイントで世界最大である。
軽量のINT-8サニティチェックでは、アクティベーションスケールの選択により、低ビット再構成誤差で最大コバラを測定した。
我々は、最大アクティベーションサイズは、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性であり、サイズは単純な副産物ではないと結論付け、低ビット展開前のオープンウェイトリリースと並行して測定と報告をすべきである。
コードはhttps://github.com/clx1415926/Max_act_llm.comで公開されている。
関連論文リスト
- Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳（メタデータ） (2026-09-01T09:08:15Z) - ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models [45.62029693245481]
本稿では,アクション誘導型混合精度PTQフレームワークであるActQuantを紹介する。
ActQuant は、(1) エージェントの動作の予測にどの程度貢献するかに基づいて、各重み行列に1ビット幅を割り当てるテンソル間ビットアロケータである。
我々はまた、効率的な低ビットカーネルを持つネイティブC/C++にポートするエージェント変換パイプラインであるOmniModelも導入した。
論文 参考訳（メタデータ） (2026-05-19T19:57:26Z) - Cross-Dialect Generalization Without Retraining: Benchmarks and Evaluation of Schema-Derived Constrained Decoding for MLIR [0.0]
MLIR(Multi-Level Intermediate Representation)は、現代的なMLコンパイラインフラストラクチャ(TensorFlow、JAX/StableHLO、PyTorchインダクタ、IREE)の基盤となる。
MLIRはまた、アプリケーションドメインごとに新しい方言が出荷されるので、方言ごとに微調整されたモデルがスケールしない。
3つの方言にまたがる4つの自然言語-MLIRベンチマークをリリースする。
論文 参考訳（メタデータ） (2026-05-14T02:08:13Z) - Human Values in a Single Sentence: Moral Presence, Hierarchies, and Transformer Ensembles on the Schwartz Continuum [3.0339361014383397]
約74kの英語文において,精巧なシュワルツ連続体における19の人文値の文レベル検出について検討した。
各文には価値の存在が注釈付けされ、二項の道徳的存在ラベルが付与される。
道徳的存在は単文から学習可能であることを示す。
論文 参考訳（メタデータ） (2026-01-20T17:25:33Z) - Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。
異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。
我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文 参考訳（メタデータ） (2025-08-20T17:59:51Z) - Chain-of-Model Learning for Language Model [91.81240728426994]
本稿では,各レイヤの隠れ状態に因果関係を組み込んだ新しい学習パラダイムであるChain-of-Model(CoM)を提案する。
本稿では, 各層に隠された状態を, 隠された次元の複数の部分表現(すなわち鎖)の組み合わせとして定式化する, チェーン・オブ・表現(CoR)の概念を紹介する。
さらに,COLMをベースとしたKV共有機構を導入し,第1チェーン内のキーと値を計算し,全チェーン間で共有する。
論文 参考訳（メタデータ） (2025-05-17T04:06:12Z) - S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。
S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文 参考訳（メタデータ） (2025-02-20T09:18:53Z) - The Uniqueness of LLaMA3-70B Series with Per-Channel Quantization [5.7672452948056545]
量子化は、大規模言語モデル(LLM)を効率的にデプロイするための重要なテクニックである。
W8A8後の量子化がモデル精度に与える影響はいまだ議論の余地がある。
我々はLLaMA3-70Bモデルシリーズが量子化に一意に弱い理由を考察する。
論文 参考訳（メタデータ） (2024-08-27T15:03:01Z) - TernaryLLM: Ternarized Large Language Model [29.29122031050894]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを達成した。
本稿では、Dual Learnable Ternarization (DLT)を導入し、スケールとシフトの両方を学習可能にする。
また、極低ビット量子化で失われた情報を復元するために、OFF(Outlier-Friendly Feature Knowledge Distillation)を提案する。
論文 参考訳（メタデータ） (2024-06-11T11:40:12Z) - CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs [44.03692512352445]
カラムレベル適応量量子化(CLAQ)は、LLM(Large Language Models)量子化のための新しく効果的なフレームワークである。
本稿では,LLM量子化のための3種類の適応戦略を導入することで,新しい効果的なCLAQフレームワークを提案する。
LLaMA-1, LLaMA-2, Yi など,様々な主要なオープンソース LLM に関する実験により, 提案手法が様々なビット設定における最先端結果を達成することを示す。
論文 参考訳（メタデータ） (2024-05-27T14:49:39Z) - KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。
量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。
我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
論文 参考訳（メタデータ） (2024-01-31T18:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。