論文の概要: Unified Scaling Laws for Compressed Representations

• arxiv url: http://arxiv.org/abs/2506.01863v1
• Date: Mon, 02 Jun 2025 16:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.615855
• Title: Unified Scaling Laws for Compressed Representations
• Title（参考訳）: 圧縮表現のための統一スケーリング法則
• Authors: Andrei Panferov, Alexandra Volkova, Ionut-Vlad Modoranu, Vage Egiazarian, Mher Safaryan, Dan Alistarh,
• Abstract要約: 各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。 我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
• 参考スコア（独自算出の注目度）: 69.72517034565467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws have shaped recent advances in machine learning by enabling predictable scaling of model performance based on model size, computation, and data volume. Concurrently, the rise in computational cost for AI has motivated model compression techniques, notably quantization and sparsification, which have emerged to mitigate the steep computational demands associated with large-scale training and inference. This paper investigates the interplay between scaling laws and compression formats, exploring whether a unified scaling framework can accurately predict model performance when training occurs over various compressed representations, such as sparse, scalar-quantized, sparse-quantized or even vector-quantized formats. Our key contributions include validating a general scaling law formulation and showing that it is applicable both individually but also composably across compression types. Based on this, our main finding is demonstrating both theoretically and empirically that there exists a simple "capacity" metric -- based on the representation's ability to fit random Gaussian data -- which can robustly predict parameter efficiency across multiple compressed representations. On the practical side, we extend our formulation to directly compare the accuracy potential of different compressed formats, and to derive better algorithms for training over sparse-quantized formats.
• Abstract（参考訳）: スケーリング法則は、モデルサイズ、計算量、データボリュームに基づいて、予測可能なモデルパフォーマンスのスケーリングを可能にすることによって、機械学習の最近の進歩を形作っている。 同時に、AIの計算コストの上昇は、大規模なトレーニングと推論に関連する急激な計算要求を軽減するために出現した、特に量子化とスパーシフィケーションといったモデル圧縮テクニックを動機付けている。 本稿では,スカラー量子化,スカラー量子化,スパース量子化,ベクトル量子化など,各種圧縮表現上でのトレーニングにおいて,統一スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の重要な貢献は、一般的なスケーリング法則の定式化の検証と、それが個別に適用可能であるだけでなく、圧縮タイプにも適用可能であることを示すことである。 これに基づいて、我々の主な発見は、複数の圧縮された表現にまたがってパラメータ効率を堅牢に予測できる、ランダムなガウスデータに適合する表現の能力に基づく、単純な「容量」計量が存在するという理論的および実証的な証明である。 実用面では、異なる圧縮フォーマットの精度を直接比較し、スパース量子化フォーマットよりも優れた学習アルゴリズムを導出するために、私たちの定式化を拡張します。

関連論文リスト

• Compression Scaling Laws:Unifying Sparsity and Quantization [65.05818215339498]
  プレトレーニング中の大規模言語モデル(LLM)のスケーリング挙動に異なる圧縮手法がどう影響するかを検討する。 重みのみの量子化は強力なパラメータ効率乗算器を実現する一方で、重みとアクティベーションの完全な量子化は低ビット幅でのリターンの低下を示す。 以上の結果から,異なる圧縮手法を共通のスケーリング法枠組みの下で統一できることが示唆された。
  論文  参考訳（メタデータ） (2025-02-23T04:47:36Z)
• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• SEE: Sememe Entanglement Encoding for Transformer-bases Models Compression [20.824040486029354]
  トランスフォーマーベースの大規模言語モデルは画期的な能力を示すが、そのストレージと計算コストは高く、リソース制約のあるシナリオでの応用を制限している。 効率的なアプローチは、圧縮と性能のバランスを達成するために、効率的な専門家由来の知識構造を取り入れながら、冗長なモデルパラメータと計算コストを排除することである。
  論文  参考訳（メタデータ） (2024-12-15T12:01:43Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Rethinking Compression: Reduced Order Modelling of Latent Features in Large Language Models [9.91972450276408]
  本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。 本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
  論文  参考訳（メタデータ） (2023-12-12T07:56:57Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Post-Training Quantization for Cross-Platform Learned Image Compression [15.67527732099067]
  学習した画像圧縮が従来の画像符号化技術より優れていることが確認されている。 考慮すべき最も重要な問題の1つは、非決定論的計算である。 本稿では,学習後量子化の導入によってこの問題を解決することを提案する。
  論文  参考訳（メタデータ） (2022-02-15T15:41:12Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。