論文の概要: Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization

• arxiv url: http://arxiv.org/abs/2406.15524v2
• Date: Fri, 11 Oct 2024 01:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:51.342979
• Title: Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization
• Title（参考訳）: 大規模言語モデルの再考:再構成誤り最小化のメリットと落とし穴
• Authors: Sungbin Shin, Wonpyo Park, Jaeho Lee, Namhoon Lee,
• Abstract要約: 本稿では,この誤差を90%以上削減する再構成手法を提案する。 キャリブレーションデータを自己生成する戦略は、再構築と一般化のトレードオフを軽減することができる。
• 参考スコア（独自算出の注目度）: 18.24882084542254
• License:
• Abstract: This work suggests fundamentally rethinking the current practice of pruning large language models (LLMs). The way it is done is by divide and conquer: split the model into submodels, sequentially prune them, and reconstruct predictions of the dense counterparts on small calibration data one at a time; the final model is obtained simply by putting the resulting sparse submodels together. While this approach enables pruning under memory constraints, it generates high reconstruction errors. In this work, we first present an array of reconstruction techniques that can significantly reduce this error by more than $90\%$. Unwittingly, however, we discover that minimizing reconstruction error is not always ideal and can overfit the given calibration data, resulting in rather increased language perplexity and poor performance at downstream tasks. We find out that a strategy of self-generating calibration data can mitigate this trade-off between reconstruction and generalization, suggesting new directions in the presence of both benefits and pitfalls of reconstruction for pruning LLMs.
• Abstract（参考訳）: この研究は、大規模言語モデル(LLM)の現在の実践を根本的に再考することを示唆している。 モデルをサブモデルに分割し、逐次プーンし、小さなキャリブレーションデータに基づいて密度の高いモデルの予測を一度に再構築する。 このアプローチはメモリ制約下でのプルーニングを可能にするが、高い再構成誤差を発生させる。 本稿ではまず,この誤差を90\%以上削減できる再構成手法について述べる。 しかし, 再構成誤差の最小化は必ずしも理想的ではなく, 与えられたキャリブレーションデータに過度に適合し, 言語難易度が向上し, 下流タスクにおける性能が低下することがわかった。 キャリブレーションデータの自己生成戦略は, 再設計と一般化のトレードオフを緩和し, 再設計のメリットと落とし穴が存在することの新たな方向性を示唆する。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Reconstruct the Pruned Model without Any Retraining [23.235907813011174]
  本稿では,線形補間に基づく適応再構成(LIAR)フレームワークを提案する。 LIARはバックプロパゲーションや再トレーニングを必要とせず、様々なプルーニング基準やモジュールと互換性がある。 GLUE, SQuAD, WikiText, 常識推論などのベンチマークによる評価の結果, LIARはパラメータの50%を除去しても, 98%の精度でBERTモデルを維持できることがわかった。
  論文  参考訳（メタデータ） (2024-07-18T09:30:44Z)
• Bounding Reconstruction Attack Success of Adversaries Without Data Priors [53.41619942066895]
  機械学習(ML)モデルに対する再構成攻撃は、機密データの漏洩の強いリスクをもたらす。 本研究では,現実的な対角的環境下での再建成功に関する公式な上限を提供する。
  論文  参考訳（メタデータ） (2024-02-20T09:52:30Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Divide-and-Assemble: Learning Block-wise Memory for Unsupervised Anomaly Detection [40.778313918994996]
  再構成に基づく手法は、画像の教師なし異常検出において重要な役割を果たす。 本研究では,画像の再構成を分割組立手順として解釈する。 我々は、挑戦的なMVTec ADデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-28T01:14:32Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Reconstruction-Based Membership Inference Attacks are Easier on Difficult Problems [36.13835940345486]
  高次元の入力と出力を持つモデルは、メンバーシップ推論攻撃に対してより脆弱であることを示す。 本稿では,各サンプルに対して計算可能な新しい予測可能性スコアを提案し,その計算はトレーニングセットを必要としない。 再構成誤差から予測可能性スコアを減算して得られた会員誤差は,多数のベンチマークにおいて高いMIA精度が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-15T18:57:22Z)
• Model Adaptation for Image Reconstruction using Generalized Stein's Unbiased Risk Estimator [34.08815401541628]
  我々は、ネットワークを計測したk空間データに適応させるために、一般化ステインのアンバイアスドリスク推定(GSURE)損失指標を導入する。 kspaceの平均二乗誤差に依存する現在の方法とは異なり、提案されたメトリックは測定におけるノイズを計る。
  論文  参考訳（メタデータ） (2021-01-29T20:16:45Z)
• Generative Tomography Reconstruction [11.460692362624533]
  そこで本研究では,ノイズの高い音像を復調にマッピングするトモグラフィ再構成のためのエンドツーエンドの微分可能なアーキテクチャを提案する。 また,ノイズに富む音像から現実的な再構成をサンプリングできる生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-26T18:22:37Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。