論文の概要: Fuzzing Deep Learning Compilers with HirGen
- arxiv url: http://arxiv.org/abs/2208.02193v5
- Date: Wed, 21 Jun 2023 06:19:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 15:19:39.291477
- Title: Fuzzing Deep Learning Compilers with HirGen
- Title(参考訳): HirGenによるディープラーニングコンパイラのファジィ化
- Authors: Haoyang Ma, Qingchao Shen, Yongqiang Tian, Junjie Chen, Shing-Chi
Cheung
- Abstract要約: HirGenは、ハイレベルIRの最適化において、コーディングミスを効果的に露呈することを目的とした自動テスト技術である。
HirGenは、TVMで発生した21のバグを正常に検出し、17のバグが確認され、12が修正された。
実験の結果,HirGenは48時間以内にベースラインで検出できない10のクラッシュや不整合を検出することができた。
- 参考スコア(独自算出の注目度): 12.068825031724229
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep Learning (DL) compilers are widely adopted to optimize advanced DL
models for efficient deployment on diverse hardware. Their quality has profound
effect on the quality of compiled DL models. A recent bug study shows that the
optimization of high-level intermediate representation (IR) is the most
error-prone compilation stage. Bugs in this stage are accountable for 44.92% of
the whole collected ones. However, existing testing techniques do not consider
high-level optimization related features (e.g. high-level IR), and are
therefore weak in exposing bugs at this stage. To bridge this gap, we propose
HirGen, an automated testing technique that aims to effectively expose coding
mistakes in the optimization of high-level IR. The design of HirGen includes 1)
three coverage criteria to generate diverse and valid computational graphs; 2)
full use of high-level IRs language features to generate diverse IRs; 3) three
test oracles inspired from both differential testing and metamorphic testing.
HirGen has successfully detected 21 bugs that occur at TVM, with 17 bugs
confirmed and 12 fixed. Further, we construct four baselines using the
state-of-the-art DL compiler fuzzers that can cover the high-level optimization
stage. Our experiment results show that HirGen can detect 10 crashes and
inconsistencies that cannot be detected by the baselines in 48 hours. We
further validate the usefulness of our proposed coverage criteria and test
oracles in evaluation.
- Abstract(参考訳): ディープラーニング(DL)コンパイラは、多様なハードウェアへの効率的なデプロイメントのために、高度なDLモデルを最適化するために広く採用されている。
それらの品質は、コンパイルされたDLモデルの品質に大きな影響を与えます。
最近のバグスタディでは、ハイレベル中間表現(ir)の最適化が最もエラーやすいコンパイルステージであることが示されている。
この段階でのバグは全体の44.92%を占める。
しかし、既存のテスト技術は、ハイレベル最適化に関連する機能(例えば、ハイレベルir)を考慮していないため、この段階でのバグの露見には弱い。
このギャップを埋めるために,高レベルirの最適化において,コーディングミスを効果的に顕在化することを目的とした自動テスト技術であるhirgenを提案する。
HirGenの設計には
1) 多様な有効な計算グラフを生成するための3つのカバレッジ基準
2) 多様なIRを生成するために高レベルIR言語の特徴をフル活用すること。
3) 差分テストとメタモルフィックテストの両方からインスパイアされた3つのテストオラクル。
hirgenは、tvmで発生した21のバグを検出し、17のバグが確認された。
さらに,最先端のDLコンパイラファジィを用いて,高レベル最適化段階をカバーする4つのベースラインを構築する。
実験の結果,HirGenは48時間以内にベースラインで検出できない10のクラッシュや不整合を検出することができた。
さらに,提案するカバレッジ基準の有用性を検証し,評価中のオラクルをテストする。
関連論文リスト
- Evolutionary Generative Fuzzing for Differential Testing of the Kotlin
Compiler [14.259471945857431]
JetBrainsが開発したKotlinコンパイラのバグ発見における差分テストの有効性について検討する。
そこで我々は,K1コンパイラとK2コンパイラの入力プログラムを生成するブラックボックス生成手法を提案する。
ケーススタディでは,提案手法がK1とK2のバグを効果的に検出している。
論文 参考訳(メタデータ) (2024-01-12T16:01:12Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [89.13051256657995]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用モデルと3つのオープンソースモデルを評価する。
論文 参考訳(メタデータ) (2024-01-09T15:46:38Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳(メタデータ) (2023-10-28T04:07:58Z) - HDCC: A Hyperdimensional Computing compiler for classification on
embedded systems and high-performance computing [58.720142291102135]
この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。
nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。
これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
論文 参考訳(メタデータ) (2023-04-24T19:16:03Z) - Pre-trained Embeddings for Entity Resolution: An Experimental Analysis
[Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。
まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。
次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。
第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文 参考訳(メタデータ) (2023-04-24T08:53:54Z) - Finding Deep-Learning Compilation Bugs with NNSmith [20.082492391396933]
本稿では,ディープラーニングコンパイラのバグ発見のためのファズテスト手法を提案する。
我々の中核的なアプローチは、(i)軽量な演算子仕様を使用して、多種多様な有効なモデルを生成し、(ii)勾配ベースの探索プロセスを作成し、(iii)差分テストによってバグを特定します。
我々は,この手法をNSmithで実施し,TVM,RT,ONNXRuntime,PyTorchの過去7ヶ月で65の新たなバグを発見した。そのうち52件が確認され,メンテナによって44件が修正されている。
論文 参考訳(メタデータ) (2022-07-26T17:39:51Z) - Coverage-Guided Tensor Compiler Fuzzing with Joint IR-Pass Mutation [20.519361342905775]
広範に使われているTVMテンソルコンパイラのためのファジィ手法であるTzerを提案する。
以上の結果から,Tzerはテンソルコンパイラテストにおいて,既存のファジリング技術よりも大幅に優れていることがわかった。
これまでTzerは、TVMの49の既知のバグを検出し、37のバグが確認され、25のバグが修正された。
論文 参考訳(メタデータ) (2022-02-21T01:48:11Z) - Highly Parallel Autoregressive Entity Linking with Discriminative
Correction [51.947280241185]
自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。
我々のモデルは以前の生成法より70倍高速で精度が高い。
論文 参考訳(メタデータ) (2021-09-08T17:28:26Z) - Disentangle Your Dense Object Detector [82.22771433419727]
深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。
しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。
そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
論文 参考訳(メタデータ) (2021-07-07T00:52:16Z) - Deep Learning Algorithms for Rotating Machinery Intelligent Diagnosis:
An Open Source Benchmark Study [0.8497188292342053]
本稿では,機械知能診断を回転させる深層学習アルゴリズムのベンチマーク研究を行う。
評価コード全体をコードライブラリに統合し、このフィールドの開発を改善するために、このコードライブラリを一般公開します。
これらの作業により、モデルを公平かつ迅速に比較、テストするための統一されたコードフレームワークをリリースし、オープンソースコードの重要さを強調し、無駄な改善を避けるためのベースライン精度(下限)を提供し、この分野の将来的な方向性について議論する。
論文 参考訳(メタデータ) (2020-03-06T17:24:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。