論文の概要: Kaizen: Metamorphic Fuzzing and Differential Testing for LLM-Translated HPC Applications
- arxiv url: http://arxiv.org/abs/2607.04058v1
- Date: Sat, 04 Jul 2026 23:52:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.808555
- Title: Kaizen: Metamorphic Fuzzing and Differential Testing for LLM-Translated HPC Applications
- Title（参考訳）: カイゼン: LLM関連HPCアプリケーションのための変成ファズリングと微分テスト
- Abstract要約: 本稿では,OpenMP,OpenACC,Kokkos,SYCLに翻訳された大規模言語モデル(LLM)の正確性を評価するためのフレームワークを提案する。
カーネルレベルおよびフルプログラム粒度で3つの微調整LDMを用いて、16の科学応用のオン・トゥ・オープンMP翻訳を評価する。
- 参考スコア（独自算出の注目度）: 2.4948485991003158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used to port scientific codes across heterogeneous high-performance computing (HPC) programming models, such as translating CUDA to OpenMP, OpenACC, Kokkos or SYCL. However, current evaluations use compilation success, token-level similarity, or developer-written tests from static benchmarks, which cannot reliably ensure behavioral correctness. We present Kaizen, a metamorphic fuzzing and differential testing framework for evaluating the correctness of LLM-translated HPC code. Kaizen uses metamorphic fuzzing via source-code mutation to generate semantically equivalent programs, grammar-based input fuzzing to explore behavioral diversity, and differential testing to expose semantic divergences between original and translated applications that compile and pass developer-written tests yet produce incorrect scientific results. We evaluate Kaizen on CUDA-to-OpenMP translation of 16 scientific applications from seven domains using three fine-tuned LLMs at kernel-level and full-program granularity. Our evaluation reveals that (1) compilation success is a poor proxy for correctness; (2) LLM-translated programs exhibit systematic compile-time error patterns, with nine categories for kernel-level translation and 27 for full-program translation; (3) semantic errors that survive compilation are often input-dependent and require differential testing to expose; and (4) full-program translation is substantially harder than kernel-level translation. These findings highlight the need for correctness-oriented evaluation of LLM-assisted HPC code translations.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、CUDAをOpenMP、OpenACC、Kokkos、SYCLに翻訳するなど、異種ハイパフォーマンスコンピューティング(HPC)プログラミングモデルに科学コードを移植するためにますます使われている。
しかし、現在の評価では、コンパイル成功、トークンレベルの類似性、静的ベンチマークからの開発者によるテストが使用されているため、振る舞いの正確性は確実に保証できない。
LLM変換されたHPC符号の正当性を評価するための変成ファジィおよび差分試験フレームワークであるカイゼンについて述べる。
カイゼンは、ソースコードの変異によるメタモルフィックファジングを使用して、意味論的に等価なプログラムを生成し、文法に基づく入力ファジングで振る舞いの多様性を探索し、ディファレンシャルテストは、開発者が記述したテストをコンパイルしてパスするオリジナルのアプリケーションと翻訳されたアプリケーションのセマンティックな違いを明らかにする。
カーネルレベルでの3つの微調整LDMとフルプログラムの粒度を用いて、7つの領域から16の科学応用をCUDA-to-OpenMP翻訳で評価した。
評価の結果,(1) コンパイル成功は正確性の指標として不十分なこと,(2) LLM 変換プログラムは,カーネルレベルの翻訳に9つのカテゴリ,(2) コンパイルを継続する意味的エラーは入力依存であり,かつ差分テストを必要とすること,(4) 完全プログラム翻訳はカーネルレベルの翻訳に比較してかなり難しいこと,などが判明した。
これらの結果は,LLMを用いたHPCコード翻訳の正確性指向性評価の必要性を浮き彫りにした。
関連論文リスト
- Bridging Functional Correctness and Runtime Efficiency Gaps in LLM-Based Code Translation [21.642589721687724]
ランタイム効率は、関数的正確性とともに、プログラム品質にとってますます重要になっています。
提案するSwiftTransは,2つの重要なステージ – Multi-Perspective Explorationと Different-Aware Selection – で構成されるコード翻訳フレームワークである。
3つのベンチマークでの実験結果は、SwiftTransが正確性と実行効率の両方で一貫した改善を実現していることを示している。
論文 参考訳（メタデータ） (2026-06-16T08:49:56Z) - ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation [5.103450268268085]
本稿では,カーネル中心のベンチマークフレームワークであるParBenchについて述べる。
ParBenchは、宣言型ベンチマーク仕様を通じて、周囲のビルド、実行、検証インフラストラクチャを修正し、モデルにカーネルのみの翻訳を依頼する。
論文 参考訳（メタデータ） (2026-06-09T19:00:09Z) - From I/O to Code with Discovery Agent [103.88427301265669]
IO2Codeの発見エージェントであるDIO-Agentを提案する。
本手法は,プログラム空間上の進化的探索としてIO2Codeをフレーム化する。
大規模な実験により、DIO-Agentは従来のプログラムバイサンプル法とSOTA進化エージェントベースラインの両方を一貫して上回っていることが示された。
論文 参考訳（メタデータ） (2026-05-14T18:57:32Z) - Beyond BLEU: A Semantic Evaluation Method for Code Translation [2.3802148866231057]
本研究では,コード翻訳タスクに対する新しい評価手法を提案し,表面レベルの文字列類似性に対する意味的等価性を強調した。
正しい実行結果を生成する翻訳の割合として定義される意味的正当性スコアを導入する。
BLEUスコアは意味的正当性と無視できる相関を示した。
論文 参考訳（メタデータ） (2026-05-06T17:14:33Z) - Beyond Translation Accuracy: Addressing False Failures in LLM-Based Code Translation [2.3411689215528346]
大規模言語モデル(LLM)は、自動コード翻訳において大きな成功を収めた。
本稿では,コード翻訳における誤りの報告は,誤った論理によるものではなく,むしろ評価による誤りによるものであることを実証する。
論文 参考訳（メタデータ） (2026-05-04T03:49:58Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Function-to-Style Guidance of LLMs for Code Translation [59.487054943812836]
コード翻訳における大規模言語モデルの性能向上を目的として,F2STransという関数型案内パラダイムを提案する。
提案手法は,(1)高品質なソースターゲットコードペアを用いた翻訳精度を最適化する機能学習という2つの重要な段階から構成される。
我々は,最新のソースコード,広範なテストケース,手動で注釈付き接頭辞翻訳を含む新しいコード翻訳ベンチマークを導入する。
論文 参考訳（メタデータ） (2025-07-15T08:25:02Z) - D-LiFT: Improving LLM-based Decompiler Backend via Code Quality-driven Fine-tuning [49.16469288280772]
逆コンパイラは、バイナリから可読なソースコードを再構築する。
近年の進歩にもかかわらず、そのアウトプットは構文上の誤りや意味的な誤りに悩まされ、読みにくいままである。
大規模言語モデル (LLMs) の出現により、研究者は逆コンパイラ出力を洗練するためのLLMの可能性を探り始めた。
D-LIFTは、微調整強化学習を施した拡張逆コンパイラLLMパイプラインである。
論文 参考訳（メタデータ） (2025-06-11T19:09:08Z) - LLM-Assisted Translation of Legacy FORTRAN Codes to C++: A Cross-Platform Study [38.73914653312889]
大規模言語モデル(LLM)は、科学的なコンピュータコードの生成と翻訳にますます活用されている。
本稿では,エージェントワークフロー構築に向けたステップとして,ALMを用いたFortranからC++への翻訳の適用性を検討した。
我々は、翻訳されたC++コードのコンパイル精度を統計的に定量化し、LLM翻訳コードの人間翻訳C++コードとの類似度を測定し、FortranからC++翻訳の出力類似度を統計的に定量化した。
論文 参考訳（メタデータ） (2025-04-21T20:34:37Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。
確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。
Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
論文 参考訳（メタデータ） (2023-09-25T15:42:18Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。
具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。
LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
論文 参考訳（メタデータ） (2023-02-16T18:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。