論文の概要: Uncovering the Hidden Cost of Model Compression

• arxiv url: http://arxiv.org/abs/2308.14969v3
• Date: Fri, 15 Mar 2024 21:04:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:02:28.584451
• Title: Uncovering the Hidden Cost of Model Compression
• Title（参考訳）: モデル圧縮の隠れたコストを明らかにする
• Authors: Diganta Misra, Muawiz Chaudhary, Agam Goyal, Bharat Runwal, Pin Yu Chen,
• Abstract要約: 視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
• 参考スコア（独自算出の注目度）: 43.62624133952414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In an age dominated by resource-intensive foundation models, the ability to efficiently adapt to downstream tasks is crucial. Visual Prompting (VP), drawing inspiration from the prompting techniques employed in Large Language Models (LLMs), has emerged as a pivotal method for transfer learning in the realm of computer vision. As the importance of efficiency continues to rise, research into model compression has become indispensable in alleviating the computational burdens associated with training and deploying over-parameterized neural networks. A primary objective in model compression is to develop sparse and/or quantized models capable of matching or even surpassing the performance of their over-parameterized, full-precision counterparts. Although previous studies have explored the effects of model compression on transfer learning, its impact on visual prompting-based transfer remains unclear. This study aims to bridge this gap, shedding light on the fact that model compression detrimentally impacts the performance of visual prompting-based transfer, particularly evident in scenarios with low data volume. Furthermore, our findings underscore the adverse influence of sparsity on the calibration of downstream visual-prompted models. However, intriguingly, we also illustrate that such negative effects on calibration are not present when models are compressed via quantization. This empirical investigation underscores the need for a nuanced understanding beyond mere accuracy in sparse and quantized settings, thereby paving the way for further exploration in Visual Prompting techniques tailored for sparse and quantized models.
• Abstract（参考訳）: 資源集約型基盤モデルに支配される時代には、下流のタスクに効率的に適応する能力が不可欠である。 視覚プロンプティング(VP)は、コンピュータビジョンの領域において、大きな言語モデル (LLMs) で使用されるプロンプト技術からインスピレーションを得ている。 効率の重要性が高まるにつれて、過パラメータ化されたニューラルネットワークの訓練や展開に伴う計算負担を軽減するために、モデル圧縮の研究は不可欠になっている。 モデル圧縮の主要な目的は、過度にパラメータ化された完全な精度のモデルの性能をマッチングまたは超越できるスパースモデルや量子化モデルを開発することである。 従来, モデル圧縮が伝達学習に与える影響について検討してきたが, 視覚的プロンプトに基づく伝達への影響はいまだ不明である。 本研究は, このギャップを埋めることを目的としており, モデル圧縮が視覚的プロンプトベース転送の性能に悪影響を及ぼすという事実に光を当てている。 さらに, 下流域視覚刺激モデルの校正における疎水性の影響について検討した。 しかし、興味深いことに、モデルが量子化によって圧縮されるとき、キャリブレーションに対するそのような負の効果は存在しないことも示している。 この経験的調査は、スパースと量子化された設定における単なる正確さ以上のニュアンスな理解の必要性を浮き彫りにして、スパースと量子化されたモデルに適したビジュアルプロンプティング技術におけるさらなる探索の道を開く。

関連論文リスト

• Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
  本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。 このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。 実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-09-03T16:12:12Z)
• Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
  学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。 成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。 本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-10T11:00:26Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Model Compression Techniques in Biometrics Applications: A Survey [5.452293986561535]
  ディープラーニングアルゴリズムは人類のタスク自動化能力を大きく強化してきた。 これらのモデルの性能の大幅な改善は、その複雑さの増大と非常に相関している。 これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
  論文  参考訳（メタデータ） (2024-01-18T17:06:21Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Compressed Object Detection [15.893905488328283]
  我々は,不必要なモデル接続を捨てる圧縮技術であるプルーニングを拡張し,オブジェクト検出作業のための重み共有技術を提案する。 我々は、性能を損なうことなく、最先端のオブジェクト検出モデルを30.0%圧縮することができる。
  論文  参考訳（メタデータ） (2021-02-04T21:32:56Z)
• The Dilemma Between Data Transformations and Adversarial Robustness for Time Series Application Systems [1.2056495277232115]
  アドリシャルな例、あるいは攻撃者が生成したほぼ区別できない入力は、機械学習の精度を著しく低下させる。 この研究は、データ変換が、リカレントニューラルネットワーク上で効果的な敵サンプルを作成する敵の能力にどのように影響するかを考察する。 データ変換技術は、データセットの本質的な次元を近似した場合のみ、逆例に対する脆弱性を低減する。
  論文  参考訳（メタデータ） (2020-06-18T22:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。