論文の概要: Effective Random Test Generation for Deep Learning Compilers

• arxiv url: http://arxiv.org/abs/2302.00842v3
• Date: Thu, 26 Dec 2024 07:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:23:13.375177
• Title: Effective Random Test Generation for Deep Learning Compilers
• Title（参考訳）: ディープラーニングコンパイラのための効率的なランダムテスト生成
• Authors: Luyao Ren, ZiHeng Wang, Yingfei Xiong, Li Zhang, Guoyue Jiang, Tao Xie,
• Abstract要約: Israはドメイン固有の制約解決ツールで、バックトラックなしでセマンティック仕様から制約を解決する。 我々は、TVM、Glow、およびSophGoという商用コンパイラを含む3つの人気のある現実世界のディープラーニングコンパイラに対して、我々のアプローチを実装し、適用する。 Israは、最先端のアプローチや、コンパイラーバグ検出のための有効なテストインプットを構築するためのベースラインアプローチよりも効果的である。
• 参考スコア（独自算出の注目度）: 16.065653480978092
• License:
• Abstract: Deep learning compilers help address the difficulties of deploying deep learning models on diverse types of hardware. Testing deep learning compilers is highly crucial, because they are impacting countless AI applications that use them for model optimization and deployment. To test deep learning compilers, random testing, the testing method popularly used for compiler testing practices, faces the challenge of generating semantically valid test inputs, i.e., deep learning models that satisfy the semantic model specifications (in short as semantic specifications). To tackle this challenge, in this paper, we propose a novel approach named Isra, including a domain-specific constraint solver that resolves the constraints from the semantic specifications without backtracking. We implement and apply our approach to three popular real-world deep learning compilers including TVM, Glow, and a commercial compiler named SophGo. The evaluation results show that Isra is more effective than the state-of-the-art approaches and the baseline approaches on constructing valid test inputs for compiler-bug detection, and Isra successfully finds 24 previously unknown bugs in released versions of the three compilers. These results indicate Isra's effectiveness and practical value.
• Abstract（参考訳）: ディープラーニングコンパイラは、さまざまなタイプのハードウェアにディープラーニングモデルをデプロイすることの難しさに対処する。 ディープラーニングコンパイラのテストは、モデル最適化とデプロイメントに使用する数え切れないほど多くのAIアプリケーションに影響を与えるため、非常に重要である。 ディープラーニングコンパイラをテストするために、ランダムテストは、一般的にコンパイラテストに使用されるテスト手法であり、意味論的に有効なテストインプットを生成するという課題に直面している。 この課題に対処するために,本論文では,ドメイン固有の制約解決器を含むIsraという新しいアプローチを提案する。 我々は、TVM、Glow、およびSophGoという商用コンパイラを含む3つの人気のある現実世界のディープラーニングコンパイラに対して、我々のアプローチを実装し、適用する。 評価の結果、Israは最先端のアプローチや、コンパイラーバグ検出のための有効なテストインプットを構築するためのベースラインアプローチよりも効果的であることが示され、Israは3つのコンパイラのリリースバージョンで、これまで知られていなかった24のバグをうまく見つけることができた。 これらの結果は、イスラの有効性と実践的価値を示している。

関連論文リスト

• Finding Missed Code Size Optimizations in Compilers using LLMs [1.90019787465083]
  我々は,大規模言語モデルと一連の差分テスト戦略を組み合わせた新しいテスト手法を開発した。 当社のアプローチでは,実装に150行未満のコードが必要です。 現在までに、本番コンパイラの24のバグが報告されている。
  論文  参考訳（メタデータ） (2024-12-31T21:47:46Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• TestBench: Evaluating Class-Level Test Case Generation Capability of Large Language Models [8.22619177301814]
  クラスレベルのLLMベースのテストケース生成のためのベンチマークであるTestBenchを紹介する。 GitHub上の9つの実世界の大規模プロジェクトから108のJavaプログラムのデータセットを構築します。 本稿では,構文的正当性,コンパイル的正当性,テスト的正当性,コードカバレッジ率,欠陥検出率という,テストケースの5つの側面を考慮した詳細な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-26T06:18:06Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
  本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
  論文  参考訳（メタデータ） (2024-07-31T21:12:21Z)
• PyTester: Deep Reinforcement Learning for Text-to-Testcase Generation [20.441921569948562]
  テスト駆動開発(TDD)は、実際のコードを書く前に要件に基づいてテストケースを書くことを義務付ける。 テストケースを書くことはTDDの中心ですが、時間がかかり、コストがかかり、開発者が悩まされることも少なくありません。 PyTesterは、テキストからテストケースを生成するアプローチで、正しい、実行可能な、完全な、効果的なテストケースを自動的に生成します。
  論文  参考訳（メタデータ） (2024-01-15T10:21:58Z)
• Evolutionary Generative Fuzzing for Differential Testing of the Kotlin Compiler [14.259471945857431]
  JetBrainsが開発したKotlinコンパイラのバグ発見における差分テストの有効性について検討する。 そこで我々は,K1コンパイラとK2コンパイラの入力プログラムを生成するブラックボックス生成手法を提案する。 ケーススタディでは,提案手法がK1とK2のバグを効果的に検出している。
  論文  参考訳（メタデータ） (2024-01-12T16:01:12Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
  単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。 プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。 抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-05T19:23:34Z)
• Pre-trained Embeddings for Entity Resolution: An Experimental Analysis [Experiment, Analysis & Benchmark] [65.11858854040544]
  我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。 まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。 次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。 第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
  論文  参考訳（メタデータ） (2023-04-24T08:53:54Z)
• The Wisdom of Hindsight Makes Language Models Better Instruction Followers [84.9120606803906]
  強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。 そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。 言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。