論文の概要: Mutual-Supervised Learning for Sequential-to-Parallel Code Translation
- arxiv url: http://arxiv.org/abs/2506.11153v1
- Date: Wed, 11 Jun 2025 13:50:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-16 17:50:49.518747
- Title: Mutual-Supervised Learning for Sequential-to-Parallel Code Translation
- Title(参考訳): 逐次並列コード翻訳のための相互教師付き学習
- Authors: Changxin Ke, Rui Zhang, Shuo Wang, Li Ding, Guangli Li, Yuanbo Wen, Shuoming Zhang, Ruiyuan Xu, Jin Qin, Jiaming Guo, Chenxi Wang, Ling Li, Qi Guo, Yunji Chen,
- Abstract要約: 逐次並列コード変換のためのMultual-Supervised Learning (MSL) フレームワークを提案する。
MSLはTranslatorとTesterの2つのモデルで構成されている。
また, MuSL はベースモデルの性能を大幅に向上させることを示した。
- 参考スコア(独自算出の注目度): 22.60670880322864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of GPU-based high-performance computing (HPC) has driven the widespread adoption of parallel programming models such as CUDA. Yet, the inherent complexity of parallel programming creates a demand for the automated sequential-to-parallel approaches. However, data scarcity poses a significant challenge for machine learning-based sequential-to-parallel code translation. Although recent back-translation methods show promise, they still fail to ensure functional equivalence in the translated code. In this paper, we propose a novel Mutual-Supervised Learning (MSL) framework for sequential-to-parallel code translation to address the functional equivalence issue. MSL consists of two models, a Translator and a Tester. Through an iterative loop consisting of Co-verify and Co-evolve steps, the Translator and the Tester mutually generate data for each other and improve collectively. The Tester generates unit tests to verify and filter functionally equivalent translated code, thereby evolving the Translator, while the Translator generates translated code as augmented input to evolve the Tester. Experimental results demonstrate that MuSL significantly enhances the performance of the base model: when applied to Qwen2.5-Coder, it not only improves Pass@1 by up to 28.91% and boosts Tester performance by 68.90%, but also outperforms the previous state-of-the-art method CodeRosetta by 1.56 and 6.92 in BLEU and CodeBLEU scores, while achieving performance comparable to DeepSeek-R1 and GPT-4.1. Our code is available at https://github.com/kcxain/musl.
- Abstract(参考訳): GPUベースのハイパフォーマンスコンピューティング(HPC)の台頭により、CUDAのような並列プログラミングモデルが広く採用されるようになった。
しかし、並列プログラミングの本質的な複雑さは、自動逐次並列アプローチの需要を生み出します。
しかし、データ不足は、機械学習ベースのシーケンシャル-並列コード変換に重大な課題をもたらす。
最近のバックトランスレーション手法は将来性を示しているが、翻訳されたコードで機能的等価性を保証するには至っていない。
本稿では,関数同値問題に対処するシーケンシャル・並列コード翻訳のための,Multual-Supervised Learning (MSL) フレームワークを提案する。
MSLはTranslatorとTesterの2つのモデルで構成されている。
Co-verifyとCo-evolveのステップからなる反復ループを通じて、TranslatorとTesterは相互にデータを生成し、集合的に改善する。
Testerは、機能的に等価な翻訳コードの検証とフィルタリングを行うユニットテストを生成し、Translatorを進化させ、Translatorは変換コードを拡張入力として生成し、Testerを進化させる。
Qwen2.5-Coderに適用すると、Pass@1を最大28.91%改善し、テスタのパフォーマンスを68.90%向上するだけでなく、以前の最先端メソッドであるCodeRosettaのBLEUおよびCodeBLEUスコアの1.56と6.92を上回り、DeepSeek-R1とGPT-4.1に匹敵するパフォーマンスを達成した。
私たちのコードはhttps://github.com/kcxain/musl.comから入手可能です。
関連論文リスト
- IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳(メタデータ) (2025-07-30T08:08:48Z) - Function-to-Style Guidance of LLMs for Code Translation [59.487054943812836]
コード翻訳における大規模言語モデルの性能向上を目的として,F2STransという関数型案内パラダイムを提案する。
提案手法は,(1)高品質なソースターゲットコードペアを用いた翻訳精度を最適化する機能学習という2つの重要な段階から構成される。
我々は,最新のソースコード,広範なテストケース,手動で注釈付き接頭辞翻訳を含む新しいコード翻訳ベンチマークを導入する。
論文 参考訳(メタデータ) (2025-07-15T08:25:02Z) - Guaranteed Guess: A Language Modeling Approach for CISC-to-RISC Transpilation with Testing Guarantees [0.03994567502796063]
GG(Guaranteed Guess)は、事前学習された大規模言語モデルの翻訳能力と、確立されたソフトウェアテスト構造の厳密さを組み合わせた、ISA中心のトランスパイレーションパイプラインである。
提案手法は,あるISAから別のISAへのLSMを用いた候補翻訳を生成し,ソフトウェアテストフレームワークにそのような翻訳を組み込んで,翻訳の量的信頼性を構築する。
我々は、2つの多様なデータセットに対するGGアプローチを評価し、ユニットテストに高いコードカバレッジ(>98%)を強制し、HumanEvalプログラムで99%、BringupBenchプログラムで49%の関数的/意味的正当性を達成した。
論文 参考訳(メタデータ) (2025-06-17T15:06:54Z) - Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation [0.3413711585591077]
本稿では,ConvS2Sエンコーダを改良し,n-gram言語モデルに基づくマルチヘッド・コンバータ(MHCエンコーダ)を提案する。
最終的に、マルチヘッドConvエンコーダに基づく翻訳モデルは、他のエンコーダよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-08-24T01:58:28Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - Data Augmentation for Code Translation with Comparable Corpora and Multiple References [21.754147577489764]
我々は、自然言語ドキュメントから生成されたプログラムを含む、比較可能なコーパスの複数のタイプを構築し、分析する。
単一の参照変換に対する過度な適合を低減するため、利用可能な並列データに対する追加の翻訳参照を自動生成する。
実験の結果,Java,Python,C++間の変換において,平均7.5%の計算精度でコードT5が大幅に改善された。
論文 参考訳(メタデータ) (2023-11-01T06:01:22Z) - AutoParLLM: GNN-guided Context Generation for Zero-Shot Code Parallelization using LLMs [10.648304988994369]
我々の研究は、グラフニューラルネットワーク(GNN)からのガイダンスを用いて、効率的な並列コードを生成する新しい方法である ourtool を提案する。
ourtool xspace は最先端の LLM を NAS で19.9%、Rodinia ベンチマークで6.48% 改善し、並列コード生成のタスクに CodeBERTScore を使用する。
論文 参考訳(メタデータ) (2023-10-06T06:51:16Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳(メタデータ) (2023-04-11T10:43:43Z) - LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。
具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。
LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
論文 参考訳(メタデータ) (2023-02-16T18:23:22Z) - Meta Back-translation [111.87397401837286]
プリトレーニングされたバック翻訳モデルから擬似並列データを生成する新しい手法を提案する。
本手法は,生成する擬似並列データに対して,検証セット上で良好な処理を行うためのフォワードトランスレーションモデルを訓練するように,事前訓練されたバックトランスレーションモデルを適用するメタラーニングアルゴリズムである。
論文 参考訳(メタデータ) (2021-02-15T20:58:32Z) - Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU [19.812562421377706]
双方向LSTMとTransformerは、エンコードされるシーケンスがフルである、と仮定する。
インクリメンタルなインタフェースの下でどのように振る舞うかを、部分的な出力が提供される必要があるか検討する。
その結果,非インクリメンタルな品質を維持しつつ,双方向エンコーダをインクリメンタルモードで使用することが可能になった。
論文 参考訳(メタデータ) (2020-10-11T19:51:21Z) - Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
単一パス並列生成モデルにおける単語相互依存の学習法を提案する。
単一パスの並列デコードだけで、GLATは8~15倍のスピードアップで高品質な翻訳を生成することができる。
論文 参考訳(メタデータ) (2020-08-18T13:04:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。