論文の概要: Capability Scaling-Down Laws for LLM Compression

• arxiv url: http://arxiv.org/abs/2610.02462v1
• Date: Thu, 01 Oct 2026 20:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.081097
• Title: Capability Scaling-Down Laws for LLM Compression
• Title（参考訳）: LLM圧縮におけるキャパビリティスケーリング-ダウン法則
• Abstract要約: 我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。 我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。 我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
• 参考スコア（独自算出の注目度）: 57.14348517864116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM compression reduces inference costs and memory requirements, but selecting a method and configuration remains largely empirical because comparable resource reductions can produce different capability losses. We systematically investigate capability scaling-down laws for LLM compression across pruning, quantization, and distillation. Our framework measures capability loss in mathematics, code generation, and question answering, and relates these measurements to model size, training stage, compression settings, data availability, and training exposure. We develop simple predictive relations and evaluate their accuracy, measurement efficiency, and generalization to unseen configurations and model states. Sharing the density response across pruning levels halves the configuration measurements needed to fit a pruning predictor: on new Pythia states, on pre-registered OLMo-2 test states and under Wanda pruning, the compact relation matches a regression fitted with all measurements on math and code to within 0.020 nats per token, with coefficients refitted for each setting. Controlled distillation experiments show that the cost of heavy data reuse recurs across question-answering distributions, while the net benefit depends on the evaluation distribution. We further evaluate the decision value of these predictions by comparing numerical selection with configuration medians and fixed method priorities. Independent evaluations across two model families show that selection captures most of the available cross-method benefit for question answering within the tested candidate sets, where a fixed method priority attains the same regret, with smaller opportunities for mathematics and code. These results clarify the predictive scope of capability scaling-down laws and their use in compression method selection. Our code is publicly available at: https://github.com/LabRAI/scaling_down_law.
• Abstract（参考訳）: LLM圧縮は推論コストとメモリ要求を低減させるが、同等のリソース削減は異なる能力損失をもたらすため、メソッドと構成の選択は実証的なままである。 我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にわたって体系的に検討した。 我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定し、これらの測定をモデルサイズ、トレーニングステージ、圧縮設定、データ可用性、トレーニング露出に関連付ける。 我々は、単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。 新しいPythia状態、事前登録されたOLMo-2テスト状態、およびワンダプルーニングの下では、コンパクトな関係は、数学とコードのすべての測定値がトークン毎の0.020ナット以内の回帰値と一致し、各設定に係数が適合する。 制御された蒸留実験により, 重データ再利用のコストは質問応答分布にまたがって再帰し, 純利益は評価分布に依存することがわかった。 さらに,数値選択と設定中央値,固定手法の優先度を比較して,これらの予測の判定値を評価する。 2つのモデルファミリの独立した評価は、選択がテストされた候補セット内での質問応答の可能なクロスメソッドの利点のほとんどを捉えていることを示している。 これらの結果から, キャパシティ・スケールダウン法則の予測範囲と, 圧縮法選択における適用について明らかにした。 私たちのコードは、https://github.com/LabRAI/scaling_down_lawで公開されています。

関連論文リスト

• Micro-Diffusion Compression - Binary Tree Tweedie Denoising for Online Probability Estimation [0.0]
  適応統計モデルにより生成される確率推定を改善するために, マイクロ拡散復調層を導入する。 Midicothは、適応型PPMモデル、長距離マッチングモデル、トレーベースワードモデル、高階コンテキストモデル、マイクロ拡散デノイザの5つの完全オンラインコンポーネントを最終段階として組み合わせている。
  論文  参考訳（メタデータ） (2026-03-09T16:59:24Z)
• Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
  トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。 その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。 事前学習損失と下流評価結果の完全なセットを公表する。
  論文  参考訳（メタデータ） (2025-12-09T18:33:48Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data [1.6099403809839032]
  この論文で示された変種であるDual-sPLSは、古典的なPLS1アルゴリズムを一般化する。 正確な予測と効率的な解釈のバランスを提供する。 コードはRでオープンソースパッケージとして提供される。
  論文  参考訳（メタデータ） (2023-01-17T21:50:35Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。