論文の概要: Demystifying Deep Learning Compiler Frontend Bugs: An LLM-Aided Empirical Study

• arxiv url: http://arxiv.org/abs/2607.25651v1
• Date: Tue, 28 Jul 2026 12:38:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.836051
• Title: Demystifying Deep Learning Compiler Frontend Bugs: An LLM-Aided Empirical Study
• Title（参考訳）: Demystifying Deep Learning Compiler Frontend Bugs: LLM支援実証研究
• Abstract要約: ディープラーニングコンパイラ(DLC)は、ディープラーニングプログラムを最適化されたハードウェア固有のコードに変換するように設計されている。 この段階で導入された欠陥(emphfBugsと呼ばれる)は深刻だが、検討されている。 PyTorch 2 のデフォルト DLC である Torchmo で emphfBugs に関する最初の系統的研究を行った。
• 参考スコア（独自算出の注目度）: 13.745035512122778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning compilers (DLCs) are designed to translate deep learning programs into optimized, hardware-specific code. Typically, DLC frontends translate programs into graph-based intermediate representations (IRs) to enable optimizations. Defects introduced during this stage (termed \emph{fBug}s) are severe yet understudied, as prior work predominantly focuses on low-level APIs and operators or treats DLCs as monolithic entities. To bridge this gap, we conduct the first systematic empirical study of \emph{fBug}s in TorchDynamo, the default DLC frontend for PyTorch 2, the most popular DL framework. Leveraging a domain-knowledge-enhanced LLM-aided methodology, we analyze 123 \emph{fBug}s and construct a taxonomy comprising 7 root cause categories and 15 subcategories. Our findings provide actionable insights for DLC development and testing. Furthermore, we leverage the LLM to generate targeted, root cause-aware test cases to detect new bugs. We uncovered 23 previously unknown \emph{fBug}s in recent releases (15 confirmed) across eight (sub)categories, demonstrating the efficacy of our methodology in testing and hardening DLC frontends.
• Abstract（参考訳）: ディープラーニングコンパイラ(DLC)は、ディープラーニングプログラムを最適化されたハードウェア固有のコードに変換するように設計されている。 通常、DLCフロントエンドはプログラムをグラフベースの中間表現(IR)に変換し、最適化を可能にする。 この段階で導入された欠陥(the termed \emph{fBug}s)は厳しいが、事前の研究は主に低レベルのAPIと演算子に焦点を当て、DLCをモノリシックなエンティティとして扱う。 このギャップを埋めるために、最も人気のあるDLフレームワークであるPyTorch 2のデフォルトのDLCフロントエンドであるTorchDynamoにおいて、最初の系統的実験を行った。 ドメイン知識を付加した LLM 支援手法を活用し,123 個の \emph{fBug} を解析し,7 個の根本原因分類と15 個の亜分類から構成される分類法を構築した。 本研究は, DLC 開発と試験に有効な知見を提供する。 さらに、LLMを利用して、ターゲットとなるルート原因認識テストケースを生成し、新たなバグを検出する。 これまでに知られていなかった23個の \emph{fBug}s を8つのカテゴリ (サブ) で確認し, DLC フロントエンドのテストおよび硬度化における方法論の有効性を実証した。

関連論文リスト

• Rise From The Ashes: LLM-based Static Analysis for Deep Learning Framework Bugs [29.26041624588595]
  ディープラーニング(DL)フレームワークは、重大なセキュリティ上の影響でバグを隠蔽する重要なAIインフラストラクチャである。 静的分析は、実行せずにバグを検出でき、高速でスケーラブルなテストを提供するため、自然な補完である。 Phoenix は LLM をベースとした DL フレームワークの静的解析技術である。
  論文  参考訳（メタデータ） (2026-07-01T07:44:25Z)
• Large Byte Model: Teaching Language Models About Compiled Code [57.33411365104138]
  大規模言語モデル(LLM)は、生のバイト表現を処理し、それらに関する質問に答えることはできない。 本稿では,bespoke byteトークンを用いた語彙拡張手法をベースとした,最初のバイトネイティブLSMを提案する。 このアプリケーションには、トレーニング中にドメイン知識を提供することが不可欠であることを示す。
  論文  参考訳（メタデータ） (2026-06-01T19:56:02Z)
• Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures [0.38180404292108383]
  既存のアプローチは、非スケーリング、手動ラベリング、あるいはドメインの多様性を適切にサポートしていないML分類器に依存する。 我々は,これらの制約に対処するために,Small Language Models (SLM) がコード理解と分類能力を活用できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-01-07T15:00:22Z)
• May the Feedback Be with You! Unlocking the Power of Feedback-Driven Deep Learning Framework Fuzzing via LLMs [20.03968975178177]
  ファズテスト(ファズテスト、fuzzing)は、ディープラーニング(DL)フレームワークのバグを見つけるための、シンプルで効果的な方法である。 本稿では,LLM(Large Language Model)とLLM(Generation LLM)という2つの大言語モデル(LLM)からなるフィードバック情報を効果的に活用するFUELを提案する。 FUELはPyTorchのラインコードカバレッジを改善し、最先端のベースラインよりも9.15%、14.70%向上できることを示す。
  論文  参考訳（メタデータ） (2025-06-21T08:51:53Z)
• The Foundation Cracks: A Comprehensive Study on Bugs and Testing Practices in LLM Libraries [37.57398329330302]
  大規模言語モデル(LLM)ライブラリは、今日のAI革命を支える基盤インフラストラクチャとして登場した。 LLMエコシステムにおけるそれらの重要な役割にもかかわらず、これらのライブラリは、それら上に構築されたAIシステムの信頼性を脅かすような、頻繁な品質の問題とバグに直面している。 本稿では,近代LLMライブラリにおけるバグの特徴とテスト実践に関する総合的研究について紹介する。
  論文  参考訳（メタデータ） (2025-06-14T03:00:36Z)
• Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
  検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。 各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
  論文  参考訳（メタデータ） (2025-02-16T16:12:01Z)
• Program Slicing in the Era of Large Language Models [7.990456190723922]
  プログラムスライシングはソフトウェア工学において重要なテクニックであり、開発者は関連するコードの部分を分離することができる。 本研究では,大規模言語モデル(LLM)の静的スライシングおよび動的プログラムスライシングへの応用について検討する。
  論文  参考訳（メタデータ） (2024-09-19T00:07:56Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。