論文の概要: ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation
- arxiv url: http://arxiv.org/abs/2607.22588v1
- Date: Tue, 09 Jun 2026 19:00:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.980234
- Title: ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation
- Title（参考訳）: ParBench: LLM並列コード翻訳の信頼性評価ベンチマーク
- Abstract要約: 本稿では,カーネル中心のベンチマークフレームワークであるParBenchについて述べる。
ParBenchは、宣言型ベンチマーク仕様を通じて、周囲のビルド、実行、検証インフラストラクチャを修正し、モデルにカーネルのみの翻訳を依頼する。
- 参考スコア（独自算出の注目度）: 5.103450268268085
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Modern compute-intensive software must migrate across a changing ecosystem of accelerators, programming APIs, compiler stacks, and portability layers, including CUDA, OpenMP, OpenCL, and OpenMP target offload. Large language models and autonomous coding agents are increasingly proposed for such migration, but the field lacks reliable ways to measure whether they preserve the low-level parallel semantics that make translations behaviorally valid, including thread indexing, synchronization, memory management, host-device coordination, and API-specific execution structure. We present ParBench, a kernel-centric benchmark framework for evaluating LLM-based parallel API translation under executable, reproducible conditions. ParBench fixes the surrounding build, run, and verification infrastructure through declarative benchmark specifications and asks models to translate only the computational kernels. It draws on multiple open-source HPC suites and covers representative cross-API translation directions among CUDA, OpenMP, OpenCL, and OpenMP target offload. To test whether success reflects robust translation rather than surface-form memorization, ParBench includes AST-driven, intended behavior-preserving, baseline-validated source augmentation. Evaluations on state-of-the-art open and proprietary LLMs show persistent barriers to reliable parallel code translation, including direction asymmetry, multi-file coordination, incomplete API adaptation, and uneven robustness to source-level perturbations. Code is available at https://github.com/Scientific-Computing-Lab/ParBench.
- Abstract（参考訳）: 現代の計算集約型ソフトウェアは、CUDA、OpenMP、OpenCL、OpenMPターゲットオフロードを含む、アクセラレータ、プログラミングAPI、コンパイラスタック、ポータビリティレイヤの変化するエコシステムを横断しなければならない。
大規模な言語モデルと自律型コーディングエージェントは、このような移行のためにますます提案されているが、このフィールドは、スレッドインデックス、同期、メモリ管理、ホストデバイス調整、API固有の実行構造を含む、動作に有効な、低レベルの並列セマンティクスを保存するための信頼性の高い方法がない。
本稿では、LLMベースの並列API変換を実行可能な再現可能な条件下で評価するためのカーネル中心のベンチマークフレームワークであるParBenchを提案する。
ParBenchは、宣言型ベンチマーク仕様を通じて、周辺のビルド、実行、検証インフラストラクチャを修正し、モデルに計算カーネルのみを翻訳するように要求する。
複数のオープンソースHPCスイート上に描画され、CUDA、OpenMP、OpenCL、OpenMPターゲットオフロード間のAPI間の代表的な変換方向をカバーする。
成功が表面形状の記憶よりも堅牢な翻訳を反映するかどうかをテストするため、ParBenchはAST駆動の振る舞い保存、ベースライン検証ソース拡張を含んでいる。
最先端のオープンかつプロプライエタリなLLMの評価は、方向非対称性、複数ファイル調整、不完全なAPI適応、ソースレベルの摂動に対する不均一な堅牢性など、信頼性の高い並列コード変換に対する永続的な障壁を示している。
コードはhttps://github.com/Scientific-Computing-Lab/ParBench.comで入手できる。
関連論文リスト
- ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs [48.87461975674182]
マルチモーダル大言語モデルのための並列ビジョンランゲージ(ParVL)スケーリングフレームワークについて紹介する。
ParVLは、既存のViTとLLMのバックボーンパラメータを複数のビジョンと言語ブランチで再利用することで、並列計算をスケールする。
また,ParVLは,シングルブランチベースラインよりも総合的なマルチモーダル性能を向上することを示す。
論文 参考訳（メタデータ） (2026-08-04T17:59:58Z) - CodegenBench: Can LLMs Write Efficient Code Across Architectures? [17.06172900876354]
汎用プログラミングとGPUアクセラレーション環境のためのコード生成タスクにおいて,大規模言語モデル (LLM) が広く評価されている。
CodegenBenchは、3つの異なるハードウェアプラットフォームにわたる効率的な並列コードの生成を評価するために設計されたベンチマークスイートである。
論文 参考訳（メタデータ） (2026-06-01T12:55:10Z) - Environment-Aware Code Generation: How far are We? [52.69113158357018]
大規模言語モデル(LLM)がユーザの特定の環境に適した実行可能コードを確実に生成できるかどうかは不明である。
本稿では,環境対応コード生成(EACG)の最初の体系的研究について述べる。
その結果,現在のLLMは環境固有のコード生成に苦しむ一方で,環境の適合性や実行性も向上していることがわかった。
論文 参考訳（メタデータ） (2026-01-18T04:58:15Z) - OMPILOT: Harnessing Transformer Models for Auto Parallelization to Shared Memory Computing Paradigms [13.343925256921722]
我々は、C++コードをOpenMPに変換するのに適した、ドメイン固有のエンコーダデコーダトランスであるOMPILOTを紹介する。
OMPBLEUは、OpenMP並列構造の正確性と品質を評価するために作られた新しい合成計量である。
論文 参考訳（メタデータ） (2025-11-05T21:21:15Z) - HPCTransCompile: An AI Compiler Generated Dataset for High-Performance CUDA Transpilation and LLM Preliminary Exploration [13.53425131505526]
ディープラーニングは、モデルパラメータと計算要求の指数関数的な増加を促した。
NVIDIA GPUとそのソフトウェアエコシステムは、並列コンピューティングの堅牢なサポートを提供する。
エコシステムは並列ソフトウェア分野において支配的な地位を確立してきた。
並列プログラミングのパラダイムとハードウェアの違いにより、コードを他のプラットフォームに翻訳することは大きな課題となる。
論文 参考訳（メタデータ） (2025-06-12T06:48:33Z) - ExeCoder: Empowering Large Language Models with Executability Representation for Code Translation [57.604506522287814]
既存の大きな言語モデル(LLM)は、事前トレーニング中にのみコードのコンテキスト意味を学習する。
機能的セマンティクスや構文構造,変数依存性といった実行可能性表現を活用するために,ExeCoderを提案する。
ExeCoderは、既存のオープンソースコードLLMを10.88%以上、38.78%以上、27.44%以上、42.97%以上という、2つのメトリクスで、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-01-30T16:18:52Z) - LASSI: An LLM-based Automated Self-Correcting Pipeline for Translating Parallel Scientific Codes [0.23301643766310373]
LASSI は、既存のクローズドまたはオープンソース LLM をブートストラップすることで、並列プログラミング言語間の変換を意図している。
LASSIには自己修正ループによる自律的な拡張が組み込まれており、生成されたコードのコンパイルと実行中に発生するエラーがLLMにフィードバックされる。
論文 参考訳（メタデータ） (2024-06-30T19:36:04Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z) - L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。
本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
論文 参考訳（メタデータ） (2023-10-02T16:55:19Z) - Advising OpenMP Parallelization via a Graph-Based Approach with
Transformers [2.393682571484038]
我々は,OpenMPのプラグマと共有メモリ属性を並列コードで検出し,予測する,OMPifyと呼ばれる新しい手法を提案する。
OMPifyは、ソースコードのグラフベースの表現を利用するTransformerベースのモデルに基づいている。
以上の結果から,OMPifyは汎用および人気の高いChatGPTやPragFormerモデルなど,既存のアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-16T16:56:10Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
並列量子プログラミングのための言語拡張を提案する。
QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。
並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
論文 参考訳（メタデータ） (2022-10-07T16:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。