論文の概要: Reprogramming under constraints: Revisiting efficient and reliable
transferability of lottery tickets
- arxiv url: http://arxiv.org/abs/2308.14969v1
- Date: Tue, 29 Aug 2023 01:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:09:11.081685
- Title: Reprogramming under constraints: Revisiting efficient and reliable
transferability of lottery tickets
- Title(参考訳): 制約下での再プログラミング:宝くじの効率的かつ信頼性の高い転送可能性の再検討
- Authors: Diganta Misra, Agam Goyal, Bharat Runwal, Pin Yu Chen
- Abstract要約: コンピュータビジョンにおける2つの最も効率的なアプローチは、線形探索(LP)と視覚的プロンプト/リプログラミング(VP)である。
我々は,高密度モデルのキャリブレーションが,LPとVPの両体制下での宝くじよりも常に優れていることを示す。
当社の実証研究は、スパースモデルのVPに関する新たな研究の道を開き、VPが達成した精度を超えるパフォーマンスのさらなる理解を促す。
- 参考スコア(独自算出の注目度): 49.937417635812025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the era of foundation models with huge pre-training budgets, the
downstream tasks have been shifted to the narrative of efficient and fast
adaptation. For classification-based tasks in the domain of computer vision,
the two most efficient approaches have been linear probing (LP) and visual
prompting/reprogramming (VP); the former aims to learn a classifier in the form
of a linear head on the features extracted by the pre-trained model, while the
latter maps the input data to the domain of the source data on which the model
was originally pre-trained on. Although extensive studies have demonstrated the
differences between LP and VP in terms of downstream performance, we explore
the capabilities of the two aforementioned methods via the sparsity axis: (a)
Data sparsity: the impact of few-shot adaptation and (b) Model sparsity: the
impact of lottery tickets (LT). We demonstrate that LT are not universal
reprogrammers, i.e., for certain target datasets, reprogramming an LT yields
significantly lower performance than the reprogrammed dense model although
their corresponding upstream performance is similar. Further, we demonstrate
that the calibration of dense models is always superior to that of their
lottery ticket counterparts under both LP and VP regimes. Our empirical study
opens a new avenue of research into VP for sparse models and encourages further
understanding of the performance beyond the accuracy achieved by VP under
constraints of sparsity. Code and logs can be accessed at
\url{https://github.com/landskape-ai/Reprogram_LT}.
- Abstract(参考訳): 膨大な事前訓練予算を持つ基礎モデルの時代、下流のタスクは、効率的で迅速な適応の物語に移行した。
コンピュータビジョンの領域における分類に基づくタスクでは、線形探索(LP)と視覚的プロンプト/リプログラミング(VP)の2つの最も効率的なアプローチがある。前者は、事前訓練されたモデルによって抽出された特徴に基づいて線形ヘッドの形で分類器を学習することを目的としており、後者は入力データを、モデルが最初に事前訓練されたソースデータの領域にマッピングする。
ダウンストリーム性能の観点からlpとvpの違いを広範囲に研究した結果,sparsity軸による2つの手法の能力について検討した。
(a)データのスパーシティ:わずかな適応による影響と
(b)モデルスパーシティ:抽選券(lt)の影響。
我々は、LTが汎用的なリプログラマではないことを示す。すなわち、特定のターゲットデータセットに対して、LTの再プログラミングは、対応するアップストリーム性能が似ているにもかかわらず、リプログラムされた高密度モデルよりも大幅に性能が低下することを示す。
さらに,高密度モデルの校正は,LPとVPの両体制下での抽選券よりも常に優れていることを示す。
我々の実証研究は、スパースモデルのVPに関する新たな研究の道を開き、スパースモデルの制約の下でVPが達成した精度を超えるパフォーマンスのさらなる理解を促す。
コードとログは \url{https://github.com/landskape-ai/reprogram_lt} でアクセスできる。
関連論文リスト
- DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳(メタデータ) (2024-03-20T04:58:03Z) - Model Compression Techniques in Biometrics Applications: A Survey [5.452293986561535]
ディープラーニングアルゴリズムは人類のタスク自動化能力を大きく強化してきた。
これらのモデルの性能の大幅な改善は、その複雑さの増大と非常に相関している。
これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
論文 参考訳(メタデータ) (2024-01-18T17:06:21Z) - Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - An Adversarial Active Sampling-based Data Augmentation Framework for
Manufacturable Chip Design [55.62660894625669]
リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。
機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。
本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-27T20:53:39Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳(メタデータ) (2021-10-16T00:20:04Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。
いくつかの汚職は圧縮法に大きく影響している。
データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
論文 参考訳(メタデータ) (2021-02-10T15:52:11Z) - Compressed Object Detection [15.893905488328283]
我々は,不必要なモデル接続を捨てる圧縮技術であるプルーニングを拡張し,オブジェクト検出作業のための重み共有技術を提案する。
我々は、性能を損なうことなく、最先端のオブジェクト検出モデルを30.0%圧縮することができる。
論文 参考訳(メタデータ) (2021-02-04T21:32:56Z) - The Dilemma Between Data Transformations and Adversarial Robustness for
Time Series Application Systems [1.2056495277232115]
アドリシャルな例、あるいは攻撃者が生成したほぼ区別できない入力は、機械学習の精度を著しく低下させる。
この研究は、データ変換が、リカレントニューラルネットワーク上で効果的な敵サンプルを作成する敵の能力にどのように影響するかを考察する。
データ変換技術は、データセットの本質的な次元を近似した場合のみ、逆例に対する脆弱性を低減する。
論文 参考訳(メタデータ) (2020-06-18T22:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。