論文の概要: Optimization-Aware Test Generation for Deep Learning Compilers
- arxiv url: http://arxiv.org/abs/2511.18918v1
- Date: Mon, 24 Nov 2025 09:27:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.126194
- Title: Optimization-Aware Test Generation for Deep Learning Compilers
- Title(参考訳): ディープラーニングコンパイラのための最適化型テスト生成
- Authors: Qingchao Shen, Zan Wang, Haoyang Ma, Yongqiang Tian, Lili Huang, Zibo Xiao, Junjie Chen, Shing-Chi Cheung,
- Abstract要約: OATestは最適化対応の計算グラフを合成するための新しいアプローチである。
より多くのバグを検出し、TVMとONNXRutimesでより高いコードカバレッジを達成することができる。
OATestは58の既知のバグを明らかにし、そのうち36のバグが開発者によって確認または修正されている。
- 参考スコア(独自算出の注目度): 18.99078574014009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning (DL) compilers have been widely utilized to optimize DL models for efficient deployment across various hardware. Due to their vital role in the DL ecosystem, ensuring their reliability and security is critical. However, existing approaches have limitations in testing optimization stages, which is the core functionality of DL compilers, due to the difficulty in generating optimization-aware tests. In this paper, we proposed OATest, a novel approach for synthesizing optimization-aware computational graphs. The approach combines patterns extracted from documented tests for optimization and incorporates them into seed computational graphs, enabling broader exploration of optimization paths. To guarantee the optimization-awareness of generated graphs, OATest introduces the edges reusing strategy to establish strong connections between patterns and contexts. Additionally, to solve the validity challenge for the generated graphs, OATest employs an auxiliary layers addition strategy to resolve broken constraints. Equipped with two distinct test oracles, OATest applies differential testing to evaluate the two widely used DL compilers (i.e., TVM and ONNXRuntime). Our experimental results show that OATest outperforms the state-of-the-art method by detecting more bugs and achieving higher code coverage in TVM and ONNXRutimes. Additionally, OATest uncovers 58 previously unknown bugs, 36 of which have been confirmed or fixed by developers.
- Abstract(参考訳): ディープラーニング(DL)コンパイラは、様々なハードウェアにまたがる効率的なデプロイメントのために、DLモデルを最適化するために広く利用されている。
DLエコシステムにおいて重要な役割を担っているため、信頼性とセキュリティを確保することが重要である。
しかし、既存のアプローチでは、最適化対応テストを生成するのが難しいため、DLコンパイラの中核機能である最適化ステージのテストに制限がある。
本稿では,最適化対応の計算グラフを合成する新しい手法であるOATestを提案する。
このアプローチは、最適化のための文書化されたテストから抽出されたパターンを組み合わせて、それらをシード計算グラフに組み込むことで、最適化パスのより広範な探索を可能にする。
生成されたグラフの最適化と認識を保証するため、OATestでは、パターンとコンテキスト間の強い接続を確立するためのエッジ再利用戦略を導入している。
さらに、生成されたグラフの有効性の課題を解決するために、OATestでは、壊れた制約を解決するために補助的なレイヤの追加戦略を採用している。
OATestは2つの異なるテストオラクルを備えており、広く使われている2つのDLコンパイラ(TVMとONNXRuntime)を評価するために差分テストを適用している。
実験の結果、OATestは、より多くのバグを検出し、TVMやONNXRutimesで高いコードカバレッジを達成することにより、最先端の手法よりも優れていることがわかった。
さらに、OATestは58の既知のバグを明らかにし、そのうち36のバグが開発者によって確認または修正されている。
関連論文リスト
- Synthesizing Performance Constraints for Evaluating and Improving Code Efficiency [4.292737608159482]
We present WEDGE, a framework for performance-stressing input given the program under test。
WEDGEは、プログラムの実行空間をパフォーマンス固有の領域に分割するために、分岐条件の形で明示的なパフォーマンス特性制約を合成する。
評価の結果、WEDGEは、CodeContestsのテストや既存のアプローチによって最適化されていると主張されたテストと比較して、大幅にスローダウンしていることがわかった。
論文 参考訳(メタデータ) (2025-05-29T14:26:22Z) - Compiler Optimization Testing Based on Optimization-Guided Equivalence Transformations [3.2987550056134873]
本稿では,コンパイラ最適化にインスパイアされたメタモルフィックテスト手法を提案する。
提案手法ではまず,最適化条件を満たす入力プログラムを生成するために,最適化されたコード構築戦略を用いる。
事前変換プログラムと後変換プログラムの出力を比較することで、不正な最適化バグを効果的に識別する。
論文 参考訳(メタデータ) (2025-04-06T01:37:57Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳(メタデータ) (2024-06-12T16:58:41Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳(メタデータ) (2023-02-15T18:59:21Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2021-03-23T20:46:20Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z) - Static Neural Compiler Optimization via Deep Reinforcement Learning [1.458855293397494]
本稿では,位相整合問題に対する深層強化学習手法を用いる。
LLVMのO3シークエンスを構成するサブシーケンスを用いて、エージェントはトレーニングに使用するソースコードのセット上でO3シークエンスより優れていることを学習する。
我々は、我々のアプローチを用いて訓練されたモデルは、ニューラル最適化エージェントとして現代のコンパイラに統合できると考えている。
論文 参考訳(メタデータ) (2020-08-20T13:16:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。