Fugu-MT 論文翻訳(概要): Discrepancies among Pre-trained Deep Neural Networks: A New Threat to Model Zoo Reliability

論文の概要: Discrepancies among Pre-trained Deep Neural Networks: A New Threat to Model Zoo Reliability

arxiv url: http://arxiv.org/abs/2303.02551v1
Date: Sun, 5 Mar 2023 02:27:55 GMT
ステータス: 処理完了
システム内更新日: 2023-03-07 19:00:04.605794
Title: Discrepancies among Pre-trained Deep Neural Networks: A New Threat to Model Zoo Reliability
Title（参考訳）: 訓練済みの深層ニューラルネットワークの相違:動物信頼性のモデルへの新たな脅威
Authors: Diego Montes, Pongpatapee Peerapatanapokin, Jeff Schultz, Chengjun Gun, Wenxin Jiang, James C. Davis
Abstract要約: 4つのモデル動物園にまたがる36のPTNNの精度、レイテンシ、アーキテクチャの顕著な相違を見出した。この結果から,実証的検証,自動測定ツール,実装のためのベストプラクティスに関する今後の研究が望まれる。
参考スコア（独自算出の注目度）: 2.176373527773389
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training deep neural networks (DNNs) takes signifcant time and resources. A practice for expedited deployment is to use pre-trained deep neural networks (PTNNs), often from model zoos -- collections of PTNNs; yet, the reliability of model zoos remains unexamined. In the absence of an industry standard for the implementation and performance of PTNNs, engineers cannot confidently incorporate them into production systems. As a first step, discovering potential discrepancies between PTNNs across model zoos would reveal a threat to model zoo reliability. Prior works indicated existing variances in deep learning systems in terms of accuracy. However, broader measures of reliability for PTNNs from model zoos are unexplored. This work measures notable discrepancies between accuracy, latency, and architecture of 36 PTNNs across four model zoos. Among the top 10 discrepancies, we find differences of 1.23%-2.62% in accuracy and 9%-131% in latency. We also fnd mismatches in architecture for well-known DNN architectures (e.g., ResNet and AlexNet). Our findings call for future works on empirical validation, automated tools for measurement, and best practices for implementation.
Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングには時間とリソースが要る。迅速なデプロイメントのプラクティスは、PTNNのコレクションであるモデル動物園からの事前訓練されたディープニューラルネットワーク(PTNN)を使用することである。 PTNNの実装と性能に関する業界標準が欠如しているため、エンジニアはそれをプロダクションシステムに確実に組み込むことはできない。最初のステップとして、モデル動物園間のPTNN間の潜在的な不一致を発見することで、動物園の信頼性をモデル化する脅威が明らかになる。先行研究は、深層学習システムにおける既存のばらつきを精度的に示していた。しかし, モデル動物園からのPTNNの信頼性は明らかにされていない。この研究は、4つのモデル動物園にわたる36のPTNNの精度、レイテンシ、アーキテクチャの顕著な相違を測定する。上位10の相違点のうち、精度は1.23%-2.62%、レイテンシは9%-131%である。また、よく知られたDNNアーキテクチャ(ResNetやAlexNetなど)のアーキテクチャのミスマッチも行います。この結果から,実証的検証,自動測定ツール,実装のためのベストプラクティスに関する今後の研究が望まれる。

関連論文リスト

PPT-GNN: A Practical Pre-Trained Spatio-Temporal Graph Neural Network for Network Security [3.0558245652654907]
PPTGNNは、侵入検知のための実用的で大規模な事前訓練モデルである。リアルタイムに近い予測が可能で、ネットワークアタックの時間的ダイナミクスをよりよく捉えることができる。 E-ResGATやE-GraphSAGEといった最先端モデルよりも優れ、平均精度は10.38%向上した。
論文参考訳（メタデータ） (2024-06-19T09:09:46Z)
Repairing Deep Neural Networks Based on Behavior Imitation [5.1791561132409525]
本稿では,ディープニューラルネットワーク(DNN)のための行動シミュレーションに基づく修復フレームワークを提案する。 BIRDNNは、再トレーニング修復過程における正のサンプルの最も近い振る舞いを模倣することにより、負のサンプルの誤予測を補正する。微調整修復プロセスにおいて、BIRDNNは、正および負のサンプル上でのニューロンの行動差を分析し、誤動作に対する最も責任あるニューロンを特定する。
論文参考訳（メタデータ） (2023-05-05T08:33:28Z)
Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文参考訳（メタデータ） (2022-05-28T13:09:30Z)
Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。研究者はすでに、SNNを敵の例で攻撃できることを実証している。我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
論文参考訳（メタデータ） (2022-04-12T21:26:49Z)
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文参考訳（メタデータ） (2021-12-12T17:13:14Z)
Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文参考訳（メタデータ） (2021-11-16T16:14:44Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
HufuNet: Embedding the Left Piece as Watermark and Keeping the Right Piece for Ownership Verification in Deep Neural Networks [16.388046449021466]
深部ニューラルネットワーク(DNN)を透かしする新しいソリューションを提案する。 HufuNetは、モデル微調整/pruning、カーネルのカットオフ/補完、機能相当の攻撃、不正所有クレームに対して非常に堅牢です。
論文参考訳（メタデータ） (2021-03-25T06:55:22Z)
S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文参考訳（メタデータ） (2021-02-17T18:59:28Z)
Neural Networks and Value at Risk [59.85784504799224]
リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
論文参考訳（メタデータ） (2020-05-04T17:41:59Z)
On Error Correction Neural Networks for Economic Forecasting [0.0]
Error Correction Neural Networks (ECNN)と呼ばれるRNNのクラスは、入力変数の不足を補うために設計された。これは、前のステップで犯したエラーを現在のステップにフィードバックすることで実現します。 ECNNは適切な勾配の計算によってPythonで実装され、株式市場の予測に基づいてテストされる。
論文参考訳（メタデータ） (2020-04-11T01:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。