論文の概要: Reusing Deep Neural Network Models through Model Re-engineering
- arxiv url: http://arxiv.org/abs/2304.00245v2
- Date: Sun, 30 Jul 2023 03:40:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 23:05:06.689877
- Title: Reusing Deep Neural Network Models through Model Re-engineering
- Title（参考訳）: モデル再設計によるディープニューラルネットワークモデルの再利用
- Authors: Binhang Qi, Hailong Sun, Xiang Gao, Hongyu Zhang, Zhaotian Li, Xudong
Liu
- Abstract要約: SeaMは、トレーニングされたディープニューラルネットワーク(DNN)モデルを再設計して、再利用性を改善するツールである。
対象問題と訓練されたモデルを考えると、SeaMは対象問題に関連するモデルの重みを探索する。
関連する重みのみを保持する再設計モデルは、対象の問題を解決するために再利用される。
- 参考スコア（独自算出の注目度）: 25.548280576419398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training deep neural network (DNN) models, which has become an important task
in today's software development, is often costly in terms of computational
resources and time. With the inspiration of software reuse, building DNN models
through reusing existing ones has gained increasing attention recently. Prior
approaches to DNN model reuse have two main limitations: 1) reusing the entire
model, while only a small part of the model's functionalities (labels) are
required, would cause much overhead (e.g., computational and time costs for
inference), and 2) model reuse would inherit the defects and weaknesses of the
reused model, and hence put the new system under threats of security attack. To
solve the above problem, we propose SeaM, a tool that re-engineers a trained
DNN model to improve its reusability. Specifically, given a target problem and
a trained model, SeaM utilizes a gradient-based search method to search for the
model's weights that are relevant to the target problem. The re-engineered
model that only retains the relevant weights is then reused to solve the target
problem. Evaluation results on widely-used models show that the re-engineered
models produced by SeaM only contain 10.11% weights of the original models,
resulting 42.41% reduction in terms of inference time. For the target problem,
the re-engineered models even outperform the original models in classification
accuracy by 5.85%. Moreover, reusing the re-engineered models inherits an
average of 57% fewer defects than reusing the entire model. We believe our
approach to reducing reuse overhead and defect inheritance is one important
step forward for practical model reuse.
- Abstract（参考訳）: 今日のソフトウェア開発において重要なタスクとなったディープニューラルネットワーク(DNN)モデルのトレーニングは、しばしば計算リソースと時間の観点からコストがかかる。
ソフトウェア再利用のインスピレーションにより、既存の再利用によるDNNモデルの構築が近年注目を集めている。
DNNモデルの再利用に対する以前のアプローチには2つの制限がある。
1)モデル全体の再利用は、モデルの機能(ラベル)のごく一部しか必要とされないが、多くのオーバーヘッド(例えば、推論の計算コストや時間コスト)を引き起こす。
2) モデル再利用は、再利用モデルの欠陥と弱点を継承するので、新しいシステムはセキュリティ攻撃の脅威にさらされる。
上記の問題を解決するために、トレーニング済みのDNNモデルを再設計して再利用性を向上させるツールであるSeaMを提案する。
具体的には、対象問題と訓練されたモデルを考えると、SeaMは勾配に基づく探索法を用いて、対象問題に関連するモデルの重みを探索する。
関連する重みのみを保持する再設計モデルは、対象の問題を解決するために再利用される。
広く使われているモデルに対する評価の結果、seamによって製造された再設計モデルは元のモデルの10.11%の重みしか含んでおらず、推論時間に関して42.41%削減された。
ターゲット問題に対して、再設計されたモデルは、分類精度5.85%で元のモデルより優れている。
さらに、再設計されたモデルの再使用は、モデル全体の再利用よりも平均57%少ない欠陥を継承する。
私たちは、再利用のオーバーヘッドと欠陥の継承を減らすアプローチが、実用的なモデルの再利用にとって重要な一歩だと信じています。
関連論文リスト
- EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳（メタデータ） (2023-10-16T06:16:47Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳（メタデータ） (2022-02-22T02:33:54Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳（メタデータ） (2021-03-26T11:32:27Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳（メタデータ） (2020-06-12T15:07:08Z) - Conditional Neural Architecture Search [5.466990830092397]
これは、よく訓練されたMLモデルがエッジプラットフォームをデプロイする制約に適合しない場合が多い。
本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。
論文 参考訳（メタデータ） (2020-06-06T20:39:33Z) - Model Repair: Robust Recovery of Over-Parameterized Statistical Models [24.319310729283636]
そこでは,データから推定された統計モデルを破損させた統計モデルを復元することが目的である。
モデルを教師付き学習環境に適合させるために使用する応答値ではなく,設計のみを用いてモデルを再ペアリングする手法を提案する。
論文 参考訳（メタデータ） (2020-05-20T08:41:56Z) - An Efficient Method of Training Small Models for Regression Problems
with Knowledge Distillation [1.433758865948252]
回帰問題に対する知識蒸留の新しい定式化を提案する。
まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。
マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
論文 参考訳（メタデータ） (2020-02-28T08:46:12Z) - Model Extraction Attacks against Recurrent Neural Networks [1.2891210250935146]
繰り返しニューラルネットワーク(RNN)に対するモデル抽出攻撃の脅威について検討する。
長い短期記憶(LSTM)から単純なRNNを用いて精度の高いモデルを抽出できるかどうかを論じる。
次に、特に損失関数とより複雑なアーキテクチャを構成することにより、精度の高いモデルを効率的に抽出できることを示す。
論文 参考訳（メタデータ） (2020-02-01T01:47:50Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳（メタデータ） (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。