論文の概要: MEMO: Coverage-guided Model Generation For Deep Learning Library Testing
- arxiv url: http://arxiv.org/abs/2208.01508v1
- Date: Tue, 2 Aug 2022 14:53:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-03 13:32:14.402408
- Title: MEMO: Coverage-guided Model Generation For Deep Learning Library Testing
- Title(参考訳): MEMO:ディープラーニングライブラリテストのためのカバレッジ誘導モデル生成
- Authors: Meiziniu Li, Jialun Cao, Yongqiang Tian, Tsz On Li, Ming Wen,
Shing-Chi Cheung
- Abstract要約: テスト入力としてDLモデルを生成することによって、ディープラーニング(DL)ライブラリをテストするためのいくつかの技術が提案されている。
しかし、これらの手法のテストの有効性は、生成されたDLモデルの多様性によって制約される。
本稿では,レイヤタイプ,層ペア,層パラメータを探索することにより,多様なDLモデルを効率的に生成するMEMOを提案する。
- 参考スコア(独自算出の注目度): 11.263121366956726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent deep learning (DL) applications are mostly built on top of DL
libraries. The quality assurance of these libraries is critical to the
dependable deployment of DL applications. A few techniques have thereby been
proposed to test DL libraries by generating DL models as test inputs. Then
these techniques feed those DL models to DL libraries for making inferences, in
order to exercise DL libraries modules related to a DL model's execution.
However, the test effectiveness of these techniques is constrained by the
diversity of generated DL models. Our investigation finds that these techniques
can cover at most 11.7% of layer pairs (i.e., call sequence between two layer
APIs) and 55.8% of layer parameters (e.g., "padding" in Conv2D). As a result,
we find that many bugs arising from specific layer pairs and parameters can be
missed by existing techniques.
In view of the limitations of existing DL library testing techniques, we
propose MEMO to efficiently generate diverse DL models by exploring layer
types, layer pairs, and layer parameters. MEMO: (1) designs an initial model
reduction technique to boost test efficiency without compromising model
diversity; and (2) designs a set of mutation operators for a customized Markov
Chain Monte Carlo (MCMC) algorithm to explore new layer types, layer pairs, and
layer parameters. We evaluate MEMO on seven popular DL libraries, including
four for model execution (TensorFlow, PyTorch and MXNet, and ONNX) and three
for model conversions (Keras-MXNet, TF2ONNX, ONNX2PyTorch). The evaluation
result shows that MEMO outperforms recent works by covering 10.3% more layer
pairs, 15.3% more layer parameters, and 2.3% library branches. Moreover, MEMO
detects 29 new bugs in the latest version of DL libraries, with 17 of them
confirmed by DL library developers, and 5 of those confirmed bugs have been
fixed.
- Abstract(参考訳): 最近のディープラーニング(dl)アプリケーションは、主にdlライブラリ上に構築されている。
これらのライブラリの品質保証は、dlアプリケーションの依存可能なデプロイに不可欠である。
そのため、dlモデルをテスト入力として生成してdlライブラリをテストするためのいくつかのテクニックが提案されている。
次にこれらのテクニックは、DLモデルの実行に関連するDLライブラリモジュールを実行するために、DLライブラリにそれらのDLモデルを供給します。
しかし、これらの手法のテストの有効性は、生成されたDLモデルの多様性によって制約される。
調査の結果、これらの手法は層対の最大11.7%(つまり2つの層api間のコールシーケンス)と層パラメータの55.8%(例えばconv2dの"パディング")をカバーすることが判明した。
その結果、特定のレイヤペアやパラメータから生じる多くのバグは、既存のテクニックでは見逃せないことが分かりました。
既存のDLライブラリテスト手法の限界を考慮して,レイヤタイプ,レイヤペア,レイヤパラメータを探索することにより,多様なDLモデルを効率的に生成するMEMOを提案する。
memo: (1) モデルの多様性を損なうことなくテスト効率を高めるための初期モデル削減手法を設計 (2) カスタマイズされたマルコフ連鎖モンテカルロ(mcmc)アルゴリズムのための一連の突然変異演算子を設計し、新しい層タイプ、層対、および層パラメータを探索する。
我々は、モデル実行(TensorFlow, PyTorch, MXNet, ONNX)とモデル変換(Keras-MXNet, TF2ONNX, ONNX2PyTorch)の4つを含む7つの人気のあるDLライブラリ上でMEMOを評価した。
評価の結果、MEMOは10.3%以上の層対、15.3%以上の層パラメータ、2.3%のライブラリブランチをカバーし、近年の成果を上回った。
さらに、MEMOは最新バージョンのDLライブラリで29の新しいバグを検出し、そのうち17がDLライブラリ開発者によって確認され、そのうち5つは修正されている。
関連論文リスト
- Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳(メタデータ) (2024-02-27T14:21:56Z) - Extreme Compression of Large Language Models via Additive Quantization [62.84823657536936]
我々の研究は、MCQファミリーの古典的なアルゴリズムであるAdditive Quantizationの上に構築され、それを言語モデルの量子化に適応させる。
結果として得られたアルゴリズムはLLM圧縮の最先端を推し進め、与えられた圧縮予算の精度で最近提案されたすべての技術より優れている。
論文 参考訳(メタデータ) (2024-01-11T18:54:44Z) - XGen-7B Technical Report [138.71625147048377]
XGenは、最大1.5Tトークンに対して最大8Kのシーケンス長を持つ7Bパラメータの一連のモデルである。
研究の進歩と商用アプリケーションのためのモデルをオープンソースにしています。
論文 参考訳(メタデータ) (2023-09-07T02:20:03Z) - Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning
in Encrypted Traffic Classification [68.19713459228369]
我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。
i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。
MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
論文 参考訳(メタデータ) (2023-05-21T11:20:49Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Analysis of Failures and Risks in Deep Learning Model Converters: A Case
Study in the ONNX Ecosystem [3.34420198124708]
深層学習(DL)モデルコンバータの最初の故障解析を行う。
ONNX(Open Neural Network eXchange)に関連するモデルコンバータの故障を特徴付ける。
torch.onnx, tf2onnx, ONNXRuntimeに11の欠陥(5新しい)がある。
論文 参考訳(メタデータ) (2023-03-30T21:00:38Z) - NeuRI: Diversifying DNN Generation via Inductive Rule Inference [16.463237407360594]
NeuRIは、有効な多様なディープラーニングモデルを生成するための、完全に自動化されたアプローチである。
NeuRIは、最先端のモデルレベルのファザよりも、PyTorchのブランチカバレッジを24%と15%改善する。
論文 参考訳(メタデータ) (2023-02-04T23:42:07Z) - An Empirical Study of Library Usage and Dependency in Deep Learning
Frameworks [12.624032509149869]
ピトルチ、カフェ、シキットルンはプロジェクトの18%と14%で最も頻度の高い組み合わせである。
開発者は同じプロジェクトで2つか3つのdlライブラリを使用し、同じ関数と同じファイルの両方で異なる複数のdlライブラリを使用する傾向がある。
論文 参考訳(メタデータ) (2022-11-28T19:31:56Z) - An Empirical Study of Challenges in Converting Deep Learning Models [15.521925194920893]
我々は、訓練されたディープラーニングモデルを変換するために、ONNXとCoreMLを評価するための最初の実証的研究を行う。
この結果から,変換モデルの予測精度は原文と同程度であることが判明した。
変換モデルは一般的に、原文の同じレベルで堅牢であると評価される。
論文 参考訳(メタデータ) (2022-06-28T23:18:37Z) - Measuring Discrimination to Boost Comparative Testing for Multiple Deep
Learning Models [13.048085195516935]
複数のDLモデルをランク付けするためのサンプル識別に基づく選択を提案する。
3つの画像データセットと80実世界のdlモデルを用いて実験研究を行った。
実験の結果,SDSは最先端のベースライン法と比較して,複数のDLモデルのランク付けに有効で効率的なサンプル選択法であることがわかった。
論文 参考訳(メタデータ) (2021-03-07T12:03:59Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳(メタデータ) (2020-08-27T13:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。