論文の概要: Subgraph-Oriented Testing for Deep Learning Libraries

• arxiv url: http://arxiv.org/abs/2412.06430v1
• Date: Mon, 09 Dec 2024 12:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:04.736142
• Title: Subgraph-Oriented Testing for Deep Learning Libraries
• Title（参考訳）: 深層学習ライブラリのためのサブグラフ指向テスト
• Authors: Xiaoyuan Xie, Yan Song, Songqiang Chen, Jinfu Chen,
• Abstract要約: 我々は,異なるハードウェアプラットフォーム上でディープラーニング(DL)ライブラリをテストするためのSORT(Subgraph-Oriented Realistic Testing)を提案する。 SORTは、テスト対象として、しばしばモデルグラフのサブグラフとして表現される、人気のあるAPIインタラクションパターンを採用している。 SORTは100%有効な入力生成率を実現し、既存のメソッドよりも精度の高いバグを検出し、シングルAPIテストで欠落したインタラクション関連のバグを明らかにする。
• 参考スコア（独自算出の注目度）: 9.78188667672054
• License:
• Abstract: Deep Learning (DL) libraries, such as PyTorch, are widely used for building and deploying DL models on various hardware platforms. Meanwhile, they are found to contain bugs that lead to incorrect calculation results and cause issues like non-convergence training and inaccurate prediction of DL models. Thus, many efforts have been made to test DL libraries and reveal bugs. However, existing DL library testing methods manifest limitations: model-level testing methods cause complexity in fault localization. Meanwhile, API-level testing methods often generate invalid inputs or primarily focus on extreme inputs that lead to crash failures; they also ignore testing realistic API interactions. These limitations may lead to missing detection of bugs, even in the frequently used APIs. To address these limitations, we propose SORT (Subgraph-Oriented Realistic Testing) to differential test DL libraries on different hardware platforms. SORT takes popular API interaction patterns, represented as frequent subgraphs of model computation graphs, as test subjects. In this way, it introduces realistic API interaction sequences while maintaining efficiency in locating faulty APIs for observed errors. Besides, SORT prepares test inputs by referring to extensive features of runtime inputs for each API in executing real-life benchmark data. The generated inputs are expected to better simulate such valid real inputs and reveal bugs more likely to happen in real-life usage. Evaluation on 728 frequent subgraphs of 49 popular PyTorch models demonstrates that SORT achieves a 100\% valid input generation rate, detects more precision bugs than existing methods, and reveals interaction-related bugs missed by single-API testing. 18 precision bugs in PyTorch are identified.
• Abstract（参考訳）: PyTorchのようなディープラーニング(DL)ライブラリは、さまざまなハードウェアプラットフォーム上でDLモデルを構築し、デプロイするために広く使われている。 一方、不正な計算結果につながるバグが含まれており、非収束トレーニングやDLモデルの不正確な予測のような問題を引き起こすことが判明した。 したがって、DLライブラリをテストし、バグを明らかにするために多くの努力がなされている。 しかし、既存のDLライブラリテストメソッドでは制限が示され、モデルレベルのテストメソッドはフォールトローカライゼーションの複雑さを引き起こす。 一方、APIレベルのテストメソッドは、多くの場合、無効なインプットを生成したり、クラッシュの原因となる極端なインプットに重点を置いている。 これらの制限は、頻繁に使用されるAPIでさえ、バグの発見に繋がる可能性がある。 これらの制約に対処するため、異なるハードウェアプラットフォーム上での差分テストDLライブラリのためのSORT(Subgraph-Oriented Realistic Testing)を提案する。 SORTは一般的なAPIインタラクションパターンを持ち、モデル計算グラフの頻繁なサブグラフとして表される。 このようにして、観測されたエラーに対する障害APIの特定において効率を保ちながら、現実的なAPIインタラクションシーケンスを導入している。 さらに、SORTは実生活のベンチマークデータを実行する際に、各APIのランタイム入力の広範な機能を参照して、テストインプットを準備します。 生成されたインプットは、そのような有効な実際のインプットをシミュレートし、実際の使用時に発生する可能性のあるバグを明らかにすることが期待されている。 49のPyTorchモデルの728の頻繁なサブグラフの評価は、SORTが100\%の有効な入力生成率を実現し、既存のメソッドよりも精度の高いバグを検出し、シングルAPIテストで欠落したインタラクション関連のバグを明らかにしていることを示している。 PyTorchの18の精度のバグが同定されている。

関連論文リスト

• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  2サンプルテスト問題であるモデル品質テストのような歪みの検出を形式化する。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。 次に、このテストを4つのLlamaモデルの商用推論APIに適用し、31のエンドポイントのうち11がMetaがリリースしたリファレンスウェイトとは異なる分布を提供することがわかった。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• Reinforcement Learning-Based REST API Testing with Multi-Coverage [4.127886193201882]
  MUCORESTは、Qラーニングを利用してコードカバレッジと出力カバレッジを最大化する、新しい強化学習(RL)ベースのAPIテストアプローチである。 MUCORESTは、発見されたAPIバグの数で、最先端のAPIテストアプローチを11.6-261.1%上回っている。
  論文  参考訳（メタデータ） (2024-10-20T14:20:23Z)
• SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists [59.08999823652293]
  我々は,NLPモデルの包括的評価のために,SyntheVALを提案する。 最後の段階では、人間の専門家が困難な例を調査し、手動でテンプレートを設計し、タスク固有のモデルが一貫して示す障害の種類を特定します。 我々は、感情分析と有害言語検出という2つの分類課題にSynTHEVALを適用し、これらの課題における強力なモデルの弱点を特定するのに、我々のフレームワークが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-30T17:41:30Z)
• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• CITADEL: Context Similarity Based Deep Learning Framework Bug Finding [36.34154201748415]
  既存のディープラーニング(DL)フレームワークテストツールには、バグタイプが限定されている。 我々はCitadelを提案する。Citadelは効率と有効性の観点からバグの発見を高速化する手法だ。
  論文  参考訳（メタデータ） (2024-06-18T01:51:16Z)
• DLLens: Testing Deep Learning Libraries via LLM-aided Synthesis [8.779035160734523]
  テストは、ディープラーニング(DL)ライブラリの品質を保証するための主要なアプローチである。 既存のテスト技術では、テストオラクルの構築を緩和するために差分テストを採用するのが一般的である。 本稿では,DLライブラリテストのための新しい差分試験手法であるシーレンスを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• Extended Paper: API-driven Program Synthesis for Testing Static Typing Implementations [11.300829269111627]
  本稿では,API駆動型プログラム合成の概念に基づいて静的型付けの実装をテストする新しい手法を提案する。 このアイデアは、既存のソフトウェアライブラリから派生したアプリケーションプログラミングインタフェース(API)を活用して組み合わせることで、型集約型だが小さく、十分に型付けされたプログラムを合成することである。
  論文  参考訳（メタデータ） (2023-11-08T08:32:40Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• D2A: A Dataset Built for AI-Based Vulnerability Detection Methods Using Differential Analysis [55.15995704119158]
  静的解析ツールによって報告されたラベル問題に対する差分解析に基づくアプローチであるD2Aを提案する。 D2Aを使用して大きなラベル付きデータセットを生成し、脆弱性識別のためのモデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-02-16T07:46:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。