論文の概要: MEMO: Coverage-guided Model Generation For Deep Learning Library Testing

• arxiv url: http://arxiv.org/abs/2208.01508v1
• Date: Tue, 2 Aug 2022 14:53:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-03 13:32:14.402408
• Title: MEMO: Coverage-guided Model Generation For Deep Learning Library Testing
• Title（参考訳）: MEMO:ディープラーニングライブラリテストのためのカバレッジ誘導モデル生成
• Authors: Meiziniu Li, Jialun Cao, Yongqiang Tian, Tsz On Li, Ming Wen, Shing-Chi Cheung
• Abstract要約: テスト入力としてDLモデルを生成することによって、ディープラーニング(DL)ライブラリをテストするためのいくつかの技術が提案されている。 しかし、これらの手法のテストの有効性は、生成されたDLモデルの多様性によって制約される。 本稿では,レイヤタイプ,層ペア,層パラメータを探索することにより,多様なDLモデルを効率的に生成するMEMOを提案する。
• 参考スコア（独自算出の注目度）: 11.263121366956726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent deep learning (DL) applications are mostly built on top of DL libraries. The quality assurance of these libraries is critical to the dependable deployment of DL applications. A few techniques have thereby been proposed to test DL libraries by generating DL models as test inputs. Then these techniques feed those DL models to DL libraries for making inferences, in order to exercise DL libraries modules related to a DL model's execution. However, the test effectiveness of these techniques is constrained by the diversity of generated DL models. Our investigation finds that these techniques can cover at most 11.7% of layer pairs (i.e., call sequence between two layer APIs) and 55.8% of layer parameters (e.g., "padding" in Conv2D). As a result, we find that many bugs arising from specific layer pairs and parameters can be missed by existing techniques. In view of the limitations of existing DL library testing techniques, we propose MEMO to efficiently generate diverse DL models by exploring layer types, layer pairs, and layer parameters. MEMO: (1) designs an initial model reduction technique to boost test efficiency without compromising model diversity; and (2) designs a set of mutation operators for a customized Markov Chain Monte Carlo (MCMC) algorithm to explore new layer types, layer pairs, and layer parameters. We evaluate MEMO on seven popular DL libraries, including four for model execution (TensorFlow, PyTorch and MXNet, and ONNX) and three for model conversions (Keras-MXNet, TF2ONNX, ONNX2PyTorch). The evaluation result shows that MEMO outperforms recent works by covering 10.3% more layer pairs, 15.3% more layer parameters, and 2.3% library branches. Moreover, MEMO detects 29 new bugs in the latest version of DL libraries, with 17 of them confirmed by DL library developers, and 5 of those confirmed bugs have been fixed.
• Abstract（参考訳）: 最近のディープラーニング(dl)アプリケーションは、主にdlライブラリ上に構築されている。 これらのライブラリの品質保証は、dlアプリケーションの依存可能なデプロイに不可欠である。 そのため、dlモデルをテスト入力として生成してdlライブラリをテストするためのいくつかのテクニックが提案されている。 次にこれらのテクニックは、DLモデルの実行に関連するDLライブラリモジュールを実行するために、DLライブラリにそれらのDLモデルを供給します。 しかし、これらの手法のテストの有効性は、生成されたDLモデルの多様性によって制約される。 調査の結果、これらの手法は層対の最大11.7%(つまり2つの層api間のコールシーケンス)と層パラメータの55.8%(例えばconv2dの"パディング")をカバーすることが判明した。 その結果、特定のレイヤペアやパラメータから生じる多くのバグは、既存のテクニックでは見逃せないことが分かりました。 既存のDLライブラリテスト手法の限界を考慮して,レイヤタイプ,レイヤペア,レイヤパラメータを探索することにより,多様なDLモデルを効率的に生成するMEMOを提案する。 memo: (1) モデルの多様性を損なうことなくテスト効率を高めるための初期モデル削減手法を設計 (2) カスタマイズされたマルコフ連鎖モンテカルロ(mcmc)アルゴリズムのための一連の突然変異演算子を設計し、新しい層タイプ、層対、および層パラメータを探索する。 我々は、モデル実行(TensorFlow, PyTorch, MXNet, ONNX)とモデル変換(Keras-MXNet, TF2ONNX, ONNX2PyTorch)の4つを含む7つの人気のあるDLライブラリ上でMEMOを評価した。 評価の結果、MEMOは10.3%以上の層対、15.3%以上の層パラメータ、2.3%のライブラリブランチをカバーし、近年の成果を上回った。 さらに、MEMOは最新バージョンのDLライブラリで29の新しいバグを検出し、そのうち17がDLライブラリ開発者によって確認され、そのうち5つは修正されている。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• A Tale of Two DL Cities: When Library Tests Meet Compiler [12.751626834965231]
  DLライブラリのテスト入力からドメイン知識を抽出するOPERAを提案する。 OPERAはDLライブラリの様々なテストインプットから様々なテストを構築する。 多様性に基づくテストの優先順位付け戦略を取り入れて、これらのテストインプットを移行し実行します。
  論文  参考訳（メタデータ） (2024-07-23T16:35:45Z)
• DLLens: Testing Deep Learning Libraries via LLM-aided Synthesis [8.779035160734523]
  テストは、ディープラーニング(DL)ライブラリの品質を保証するための主要なアプローチである。 既存のテスト技術では、テストオラクルの構築を緩和するために差分テストを採用するのが一般的である。 本稿では,DLライブラリテストのための新しい差分試験手法であるシーレンスを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• MoCo: Fuzzing Deep Learning Libraries via Assembling Code [13.937180393991616]
  ディープラーニング技術は様々なアプリケーションシナリオを持つソフトウェアシステムに応用されている。 DLライブラリはDLシステムの基盤として機能し、その中のバグは予測不可能な影響をもたらす可能性がある。 そこで本研究では,組立コードによるDLライブラリのファジングテスト手法であるMoCoを提案する。
  論文  参考訳（メタデータ） (2024-05-13T13:40:55Z)
• A Survey of Deep Learning Library Testing Methods [33.62859142913532]
  ディープラーニング(DL)ライブラリは、基礎となる最適化と計算を行う。 DLライブラリはバグに免疫がなく、ユーザの個人資産や安全性に深刻な脅威をもたらす可能性がある。 本稿では,各種DLライブラリに関する試験研究の概要について述べる。
  論文  参考訳（メタデータ） (2024-04-27T11:42:13Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• XGen-7B Technical Report [138.71625147048377]
  XGenは、最大1.5Tトークンに対して最大8Kのシーケンス長を持つ7Bパラメータの一連のモデルである。 研究の進歩と商用アプリケーションのためのモデルをオープンソースにしています。
  論文  参考訳（メタデータ） (2023-09-07T02:20:03Z)
• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem [3.0307714495180895]
  本稿では,ディープラーニング(DL)モデルコンバータの故障を解析する。 私たちは、DL相互運用性ツール、ユースケース、問題点についてソフトウェアエンジニアを調査します。 モデル変換器のノード変換段階が欠陥の75%を占め、報告された障害の33%が意味的に誤りのあるモデルと関連していることがわかった。
  論文  参考訳（メタデータ） (2023-03-30T21:00:38Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。