論文の概要: Reprogramming under constraints: Revisiting efficient and reliable
transferability of lottery tickets
- arxiv url: http://arxiv.org/abs/2308.14969v1
- Date: Tue, 29 Aug 2023 01:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:09:11.081685
- Title: Reprogramming under constraints: Revisiting efficient and reliable
transferability of lottery tickets
- Title（参考訳）: 制約下での再プログラミング:宝くじの効率的かつ信頼性の高い転送可能性の再検討
- Authors: Diganta Misra, Agam Goyal, Bharat Runwal, Pin Yu Chen
- Abstract要約: コンピュータビジョンにおける2つの最も効率的なアプローチは、線形探索(LP)と視覚的プロンプト/リプログラミング(VP)である。
我々は,高密度モデルのキャリブレーションが,LPとVPの両体制下での宝くじよりも常に優れていることを示す。
当社の実証研究は、スパースモデルのVPに関する新たな研究の道を開き、VPが達成した精度を超えるパフォーマンスのさらなる理解を促す。
- 参考スコア（独自算出の注目度）: 49.937417635812025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the era of foundation models with huge pre-training budgets, the
downstream tasks have been shifted to the narrative of efficient and fast
adaptation. For classification-based tasks in the domain of computer vision,
the two most efficient approaches have been linear probing (LP) and visual
prompting/reprogramming (VP); the former aims to learn a classifier in the form
of a linear head on the features extracted by the pre-trained model, while the
latter maps the input data to the domain of the source data on which the model
was originally pre-trained on. Although extensive studies have demonstrated the
differences between LP and VP in terms of downstream performance, we explore
the capabilities of the two aforementioned methods via the sparsity axis: (a)
Data sparsity: the impact of few-shot adaptation and (b) Model sparsity: the
impact of lottery tickets (LT). We demonstrate that LT are not universal
reprogrammers, i.e., for certain target datasets, reprogramming an LT yields
significantly lower performance than the reprogrammed dense model although
their corresponding upstream performance is similar. Further, we demonstrate
that the calibration of dense models is always superior to that of their
lottery ticket counterparts under both LP and VP regimes. Our empirical study
opens a new avenue of research into VP for sparse models and encourages further
understanding of the performance beyond the accuracy achieved by VP under
constraints of sparsity. Code and logs can be accessed at
\url{https://github.com/landskape-ai/Reprogram_LT}.
- Abstract（参考訳）: 膨大な事前訓練予算を持つ基礎モデルの時代、下流のタスクは、効率的で迅速な適応の物語に移行した。
コンピュータビジョンの領域における分類に基づくタスクでは、線形探索(LP)と視覚的プロンプト/リプログラミング(VP)の2つの最も効率的なアプローチがある。前者は、事前訓練されたモデルによって抽出された特徴に基づいて線形ヘッドの形で分類器を学習することを目的としており、後者は入力データを、モデルが最初に事前訓練されたソースデータの領域にマッピングする。
ダウンストリーム性能の観点からlpとvpの違いを広範囲に研究した結果,sparsity軸による2つの手法の能力について検討した。
(a)データのスパーシティ:わずかな適応による影響と
(b)モデルスパーシティ:抽選券(lt)の影響。
我々は、LTが汎用的なリプログラマではないことを示す。すなわち、特定のターゲットデータセットに対して、LTの再プログラミングは、対応するアップストリーム性能が似ているにもかかわらず、リプログラムされた高密度モデルよりも大幅に性能が低下することを示す。
さらに,高密度モデルの校正は,LPとVPの両体制下での抽選券よりも常に優れていることを示す。
我々の実証研究は、スパースモデルのVPに関する新たな研究の道を開き、スパースモデルの制約の下でVPが達成した精度を超えるパフォーマンスのさらなる理解を促す。
コードとログは \url{https://github.com/landskape-ai/reprogram_lt} でアクセスできる。
関連論文リスト
- Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。
このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。
実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
論文 参考訳（メタデータ） (2024-09-03T16:12:12Z) - Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。
成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。
本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
論文 参考訳（メタデータ） (2024-06-10T11:00:26Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳（メタデータ） (2024-03-20T04:58:03Z) - Model Compression Techniques in Biometrics Applications: A Survey [5.452293986561535]
ディープラーニングアルゴリズムは人類のタスク自動化能力を大きく強化してきた。
これらのモデルの性能の大幅な改善は、その複雑さの増大と非常に相関している。
これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
論文 参考訳（メタデータ） (2024-01-18T17:06:21Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Compressed Object Detection [15.893905488328283]
我々は,不必要なモデル接続を捨てる圧縮技術であるプルーニングを拡張し,オブジェクト検出作業のための重み共有技術を提案する。
我々は、性能を損なうことなく、最先端のオブジェクト検出モデルを30.0%圧縮することができる。
論文 参考訳（メタデータ） (2021-02-04T21:32:56Z) - The Dilemma Between Data Transformations and Adversarial Robustness for
Time Series Application Systems [1.2056495277232115]
アドリシャルな例、あるいは攻撃者が生成したほぼ区別できない入力は、機械学習の精度を著しく低下させる。
この研究は、データ変換が、リカレントニューラルネットワーク上で効果的な敵サンプルを作成する敵の能力にどのように影響するかを考察する。
データ変換技術は、データセットの本質的な次元を近似した場合のみ、逆例に対する脆弱性を低減する。
論文 参考訳（メタデータ） (2020-06-18T22:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。