論文の概要: Compressed models are NOT miniature versions of large models

• arxiv url: http://arxiv.org/abs/2407.13174v1
• Date: Thu, 18 Jul 2024 05:28:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 16:51:58.113226
• Title: Compressed models are NOT miniature versions of large models
• Title（参考訳）: 圧縮モデルは大型モデルの小型版ではない
• Authors: Rohit Raj Rai, Rishant Pal, Amit Awekar,
• Abstract要約: 4つのモデル特性を用いて,圧縮モデルと対応する大きなニューラルモデルを比較した。 全ての4つのモデル特性において、圧縮されたモデルはBERT大モデルと大きく異なる。 大きなニューラルモデルを置き換えるために圧縮モデルを使用することによる大きな副作用がある。
• 参考スコア（独自算出の注目度）: 0.8875650122536799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large neural models are often compressed before deployment. Model compression is necessary for many practical reasons, such as inference latency, memory footprint, and energy consumption. Compressed models are assumed to be miniature versions of corresponding large neural models. However, we question this belief in our work. We compare compressed models with corresponding large neural models using four model characteristics: prediction errors, data representation, data distribution, and vulnerability to adversarial attack. We perform experiments using the BERT-large model and its five compressed versions. For all four model characteristics, compressed models significantly differ from the BERT-large model. Even among compressed models, they differ from each other on all four model characteristics. Apart from the expected loss in model performance, there are major side effects of using compressed models to replace large neural models.
• Abstract（参考訳）: 大規模なニューラルモデルは、展開前に圧縮されることが多い。 モデル圧縮は、推論遅延、メモリフットプリント、エネルギー消費など、多くの実用的な理由から必要である。 圧縮モデルは、対応する大きなニューラルモデルのミニチュアバージョンであると仮定される。 しかし、我々はこの信念に疑問を呈している。 予測誤差,データ表現,データ分布,および敵攻撃に対する脆弱性の4つのモデル特性を用いて,圧縮モデルと対応する大きなニューラルモデルを比較した。 BERT-largeモデルとその5種類の圧縮版を用いて実験を行った。 全ての4つのモデル特性において、圧縮されたモデルはBERT大モデルと大きく異なる。 圧縮されたモデルの中でも、4つのモデルの特徴で異なる。 予測されるモデル性能の損失とは別に、大きなニューラルモデルを置き換えるために圧縮モデルを使用することによる大きな副作用がある。

関連論文リスト

• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• Accuracy is Not All You Need [9.371810162601623]
  複数の圧縮技術、モデル、データセットにまたがるメトリクスの詳細な調査を行います。 本研究では, 圧縮モデルがエンドユーザーに対して可視である場合, 精度が類似している場合でも, ベースラインモデルとは大きく異なることを示す。 我々は、KL-Divergence と flips という2つの指標を提案し、それらがよく相関していることを示す。
  論文  参考訳（メタデータ） (2024-07-12T10:19:02Z)
• Lossless and Near-Lossless Compression for Foundation Models [11.307357041746865]
  モデル圧縮性の原因を調査し,モデルに適した圧縮変種を導入し,圧縮性グループに分類する。 我々はこれらの手法がHuggingFaceのような大きなモデルハブからダウンロードされたネットワークトラフィックの1ヶ月あたりExaByte以上を節約できると見積もっている。
  論文  参考訳（メタデータ） (2024-04-05T16:52:55Z)
• Tiny Models are the Computational Saver for Large Models [1.8350044465969415]
  本稿では,TinySaverについて紹介する。TinySaverは,大規模モデルを適応的に置き換えるために小さなモデルを用いる,早期に出現する動的モデル圧縮手法である。 この手法をImageNet-1k分類で評価した結果,最大90%の演算数を削減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-26T14:14:30Z)
• When Do We Not Need Larger Vision Models? [55.957626371697785]
  視覚モデルのサイズを拡大することが、より強力な視覚表現を得るためのデファクトスタンダードとなっている。 S$2のScaling on Scales(スケーリング・オン・スケール)のパワーを実演します。 1行のコードで任意のビジョンモデルにS$2$を適用可能なPythonパッケージをリリースします。
  論文  参考訳（メタデータ） (2024-03-19T17:58:39Z)
• Model Compression and Efficient Inference for Large Language Models: A Survey [20.199282252344396]
  大きな言語モデルは、より小さなモデルに比べて2つの顕著な特徴を持つ。 大きなモデルの最も顕著な側面は、モデルの微調整やトレーニングに関連する非常に高いコストである。 大規模モデルは、1つのタスクのパフォーマンスよりも、汎用性と一般化を強調する。
  論文  参考訳（メタデータ） (2024-02-15T06:58:30Z)
• Compressed Models Decompress Race Biases: What Quantized Models Forget for Fair Face Recognition [3.017721041662511]
  本研究では,各民族サブグループにおける総合的パフォーマンスと人種的偏りについて検討する。 5つの異なるアーキテクチャと3つの異なるトレーニングデータセットをテストしました。 モデルは、異なる民族における顔認識モデルの性能を推定し比較するために収集された第4のデータセットで評価された。
  論文  参考訳（メタデータ） (2023-08-23T00:17:50Z)
• Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
  小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。 小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:53:14Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。