論文の概要: Uncovering the Hidden Cost of Model Compression

• arxiv url: http://arxiv.org/abs/2308.14969v2
• Date: Mon, 27 Nov 2023 09:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:58:44.310919
• Title: Uncovering the Hidden Cost of Model Compression
• Title（参考訳）: モデル圧縮の隠れたコストを明らかにする
• Authors: Diganta Misra, Agam Goyal, Bharat Runwal, Pin Yu Chen
• Abstract要約: 視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。 モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。 以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
• 参考スコア（独自算出の注目度）: 49.937417635812025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of resource-intensive foundation models, efficient adaptation in downstream tasks has become paramount. Visual Prompting (VP), inspired by prompting in Large Language Models (LLMs), has emerged as a key transfer learning method in computer vision. Aligned with the growing significance of efficiency, research in model compression has become pivotal to alleviate the computational burden in both training and deploying over-parameterized neural networks. A key goal in model compression is the development of sparse models capable of matching or surpassing the performance of their over-parameterized, dense counterparts. While prior research has explored the impact of model sparsity on transfer learning, its effects on visual prompting-based transfer remain unclear. This study addresses this gap, revealing that model sparsity adversely affects the performance of visual prompting-based transfer, particularly in low-data-volume scenarios. Furthermore, our findings highlight the negative influence of sparsity on the calibration of downstream visual-prompted models. This empirical exploration calls for a nuanced understanding beyond accuracy in sparse settings, opening avenues for further research in Visual Prompting for sparse models. Code and logs can be accessed at https://github.com/landskape-ai/Reprogram_LT .
• Abstract（参考訳）: 資源集約基盤モデルの時代には、下流タスクの効率的な適応が最重要である。 大規模言語モデル(LLM)のプロンプトにインスパイアされた視覚プロンプト(VP)が,コンピュータビジョンにおける重要な伝達学習手法として登場した。 効率性の増大にともなって、モデル圧縮の研究は、過パラメータ化されたニューラルネットワークのトレーニングとデプロイにおける計算負担を軽減するために重要になっている。 モデル圧縮のキーとなるゴールは、過度にパラメータ化され密度の高いモデルの性能を一致または超えるスパースモデルの開発である。 従来の研究では、モデルスパーシティが転校学習に与える影響を探求してきたが、その視覚刺激に基づく転校への影響はいまだ不明である。 このギャップに対処し、特に低データ量シナリオにおいて、モデル空間が視覚的プロンプトベース転送の性能に悪影響を及ぼすことを示した。 さらに,下流の視覚刺激モデルのキャリブレーションにおけるスパーシティの悪影響を浮き彫りにした。 この経験的探索は、スパース設定における精度を超えたニュアンスを要求され、スパースモデルの視覚的なプロンプトに関するさらなる研究の道を開く。 コードとログはhttps://github.com/landskape-ai/reprogram_ltでアクセスできる。

関連論文リスト

• Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
  本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。 このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。 実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-09-03T16:12:12Z)
• Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
  学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。 成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。 本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-10T11:00:26Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Model Compression Techniques in Biometrics Applications: A Survey [5.452293986561535]
  ディープラーニングアルゴリズムは人類のタスク自動化能力を大きく強化してきた。 これらのモデルの性能の大幅な改善は、その複雑さの増大と非常に相関している。 これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
  論文  参考訳（メタデータ） (2024-01-18T17:06:21Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Compressed Object Detection [15.893905488328283]
  我々は,不必要なモデル接続を捨てる圧縮技術であるプルーニングを拡張し,オブジェクト検出作業のための重み共有技術を提案する。 我々は、性能を損なうことなく、最先端のオブジェクト検出モデルを30.0%圧縮することができる。
  論文  参考訳（メタデータ） (2021-02-04T21:32:56Z)
• The Dilemma Between Data Transformations and Adversarial Robustness for Time Series Application Systems [1.2056495277232115]
  アドリシャルな例、あるいは攻撃者が生成したほぼ区別できない入力は、機械学習の精度を著しく低下させる。 この研究は、データ変換が、リカレントニューラルネットワーク上で効果的な敵サンプルを作成する敵の能力にどのように影響するかを考察する。 データ変換技術は、データセットの本質的な次元を近似した場合のみ、逆例に対する脆弱性を低減する。
  論文  参考訳（メタデータ） (2020-06-18T22:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。