論文の概要: Revealing Secrets From Pre-trained Models
- arxiv url: http://arxiv.org/abs/2207.09539v1
- Date: Tue, 19 Jul 2022 20:19:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 14:22:53.127313
- Title: Revealing Secrets From Pre-trained Models
- Title（参考訳）: 事前訓練されたモデルから秘密を発見
- Authors: Mujahid Al Rafi, Yuan Feng, Hyeran Jeon
- Abstract要約: トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。
ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
- 参考スコア（独自算出の注目度）: 2.0249686991196123
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the growing burden of training deep learning models with large data
sets, transfer-learning has been widely adopted in many emerging deep learning
algorithms. Transformer models such as BERT are the main player in natural
language processing and use transfer-learning as a de facto standard training
method. A few big data companies release pre-trained models that are trained
with a few popular datasets with which end users and researchers fine-tune the
model with their own datasets. Transfer-learning significantly reduces the time
and effort of training models. However, it comes at the cost of security
concerns. In this paper, we show a new observation that pre-trained models and
fine-tuned models have significantly high similarities in weight values. Also,
we demonstrate that there exist vendor-specific computing patterns even for the
same models. With these new findings, we propose a new model extraction attack
that reveals the model architecture and the pre-trained model used by the
black-box victim model with vendor-specific computing patterns and then
estimates the entire model weights based on the weight value similarities
between the fine-tuned model and pre-trained model. We also show that the
weight similarity can be leveraged for increasing the model extraction
feasibility through a novel weight extraction pruning.
- Abstract（参考訳）: 大規模データセットによるディープラーニングモデルのトレーニングの負担が増大する中、トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
BERTのようなトランスフォーマーモデルは自然言語処理の主要なプレーヤーであり、デファクトスタンダードトレーニング手法としてトランスファーラーニングを使用している。
いくつかのビッグデータ企業は、いくつかの人気のあるデータセットでトレーニングされた事前トレーニングされたモデルをリリースしている。
トランスファーラーニングは、トレーニングモデルの時間と労力を大幅に削減します。
しかし、それはセキュリティ上の懸念の犠牲になる。
本稿では,事前学習モデルと微調整モデルが重み値の類似度が有意に高いという新しい知見を示す。
また、同じモデルであってもベンダー固有の計算パターンが存在することを示す。
これらの新たな知見により,ブラックボックス被害者モデルが使用するモデルアーキテクチャと事前学習モデル,ベンダ固有の計算パターンを明らかにしたモデル抽出アタックを提案し,微調整モデルと事前学習モデルとの重み付け値の類似性に基づいてモデル全体の重み付けを推定する。
また,新しい重量抽出プルーニングによってモデル抽出可能性を高めるために,重みの類似性を活用できることを示した。
関連論文リスト
- Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition [0.19183348587701113]
別のタスクを支援するために事前訓練されたモデルの重みを移すことは、現代のディープラーニングの重要な部分となっている。
本実験は,鳥種認識のためのドメイン内モデルとデータセットの有用性を実証するものである。
論文 参考訳（メタデータ） (2024-04-26T08:47:28Z) - Wrapper Boxes: Faithful Attribution of Model Predictions to Training Data [40.7542543934205]
ニューラルモデルを通常のように訓練し、学習した特徴表現を古典的解釈可能なモデルで使用して予測を行う「ラッパーボックス」パイプラインを提案する。
異なる大きさの7つの言語モデルに対して、まず、ラッパー古典モデルの予測性能が元のニューラルモデルにほぼ匹敵することを示した。
我々のパイプラインは、古典的なモデル決定をデータトレーニングに忠実に寄与しながら、ニューラルネットワークモデルの予測性能を保っている。
論文 参考訳（メタデータ） (2023-11-15T01:50:53Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳（メタデータ） (2023-10-16T06:16:47Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳（メタデータ） (2023-03-24T17:56:22Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Transfer training from smaller language model [6.982133308738434]
小型の訓練済みモデルを大規模モデルに変更することで、トレーニング時間とリソースコストを節約する方法を見つけます。
ターゲットモデルを複数のデータセットでテストし、ソースモデルといまだに同等であることを示す。
論文 参考訳（メタデータ） (2021-04-23T02:56:02Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳（メタデータ） (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。