論文の概要: Uncovering the Hidden Cost of Model Compression
- arxiv url: http://arxiv.org/abs/2308.14969v2
- Date: Mon, 27 Nov 2023 09:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 14:58:44.310919
- Title: Uncovering the Hidden Cost of Model Compression
- Title(参考訳): モデル圧縮の隠れたコストを明らかにする
- Authors: Diganta Misra, Agam Goyal, Bharat Runwal, Pin Yu Chen
- Abstract要約: 視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。
モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。
以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
- 参考スコア(独自算出の注目度): 49.937417635812025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the era of resource-intensive foundation models, efficient adaptation in
downstream tasks has become paramount. Visual Prompting (VP), inspired by
prompting in Large Language Models (LLMs), has emerged as a key transfer
learning method in computer vision. Aligned with the growing significance of
efficiency, research in model compression has become pivotal to alleviate the
computational burden in both training and deploying over-parameterized neural
networks. A key goal in model compression is the development of sparse models
capable of matching or surpassing the performance of their over-parameterized,
dense counterparts. While prior research has explored the impact of model
sparsity on transfer learning, its effects on visual prompting-based transfer
remain unclear. This study addresses this gap, revealing that model sparsity
adversely affects the performance of visual prompting-based transfer,
particularly in low-data-volume scenarios. Furthermore, our findings highlight
the negative influence of sparsity on the calibration of downstream
visual-prompted models. This empirical exploration calls for a nuanced
understanding beyond accuracy in sparse settings, opening avenues for further
research in Visual Prompting for sparse models. Code and logs can be accessed
at https://github.com/landskape-ai/Reprogram_LT .
- Abstract(参考訳): 資源集約基盤モデルの時代には、下流タスクの効率的な適応が最重要である。
大規模言語モデル(LLM)のプロンプトにインスパイアされた視覚プロンプト(VP)が,コンピュータビジョンにおける重要な伝達学習手法として登場した。
効率性の増大にともなって、モデル圧縮の研究は、過パラメータ化されたニューラルネットワークのトレーニングとデプロイにおける計算負担を軽減するために重要になっている。
モデル圧縮のキーとなるゴールは、過度にパラメータ化され密度の高いモデルの性能を一致または超えるスパースモデルの開発である。
従来の研究では、モデルスパーシティが転校学習に与える影響を探求してきたが、その視覚刺激に基づく転校への影響はいまだ不明である。
このギャップに対処し、特に低データ量シナリオにおいて、モデル空間が視覚的プロンプトベース転送の性能に悪影響を及ぼすことを示した。
さらに,下流の視覚刺激モデルのキャリブレーションにおけるスパーシティの悪影響を浮き彫りにした。
この経験的探索は、スパース設定における精度を超えたニュアンスを要求され、スパースモデルの視覚的なプロンプトに関するさらなる研究の道を開く。
コードとログはhttps://github.com/landskape-ai/reprogram_ltでアクセスできる。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Efficiently Robustify Pre-trained Models [18.392732966487582]
大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。
まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。
続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
論文 参考訳(メタデータ) (2023-09-14T08:07:49Z) - Unlocking the Potential of Federated Learning for Deeper Models [24.875271131226707]
フェデレートラーニング(FL)は、分散機械学習の新しいパラダイムであり、グローバルモデルを複数のクライアントでトレーニングできるようにする。
本稿では,より広義のモデルを用いたり,受容領域を縮小したりするなど,ばらつきの低減に基づくいくつかの技術ガイドラインを提案する。
これらの手法はより深いモデルにおけるFLの精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2023-06-05T08:45:44Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳(メタデータ) (2023-05-28T05:38:28Z) - Phantom Embeddings: Using Embedding Space for Model Regularization in
Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。
複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。
情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-14T17:15:54Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - A Deep Marginal-Contrastive Defense against Adversarial Attacks on 1D
Models [3.9962751777898955]
ディープラーニングアルゴリズムは最近、脆弱性のために攻撃者がターゲットとしている。
非連続的深層モデルは、いまだに敵対的な攻撃に対して頑健ではない。
本稿では,特徴を特定のマージン下に置くことによって予測を容易にする新しい目的/損失関数を提案する。
論文 参考訳(メタデータ) (2020-12-08T20:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。