論文の概要: Bootstrapping Niche Multilingual Code Translation via Reinforcement Learning with Execution-Based Verifiable Supervision
- arxiv url: http://arxiv.org/abs/2608.13854v1
- Date: Fri, 14 Aug 2026 00:56:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.229413
- Title: Bootstrapping Niche Multilingual Code Translation via Reinforcement Learning with Execution-Based Verifiable Supervision
- Title(参考訳): Execution-based Verifiable Supervision を用いた強化学習によるニッチ多言語コード翻訳のブートストラップ
- Abstract要約: 我々は、HumanEval-Xを拡張した実行ベースのベンチマークであるHumanEval-X++を紹介した。
HumanEval-X++と既存のベンチマークでは、トレーニングされていないベースラインよりも一貫したゲインが得られる。
本研究は,データ生成,トレーニング,ベンチマークの信頼性の高いアプローチを確立し,多対多のプログラミング言語翻訳の質をさらに高めるための道を開くものである。
- 参考スコア(独自算出の注目度): 41.68344013253776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code translation must preserve executable behavior across many programming languages, yet neural code translation has largely focused on a few popular languages such as C++, Java, and Python. This leaves a niche, many-to-many setting where parallel supervision is sparse, producing plausible but non-executable translations. We address this setting with preference-based reinforcement learning driven by execution-based supervision. Our pipeline firstly expands verifiable seed Python programs into a multilingual pool of execution-validated codes. Using the pool, a base LLM generates translation candidates across language pairs, which we label by their execution outcomes. The resulting preferences are used to train a reward model that scores cross-language translation quality. Finally, we optimize our base LLMs with GRPO over 600 directed language pairs (25 x 24) using the reward model as a signal. To evaluate the niche translation capability, we introduce HumanEval-X++, an execution-based benchmark that extends HumanEval-X to a broad many-to-many language space. We evaluate our approach using Qwen-3.5 4B and 9B models. On HumanEval-X++ and existing benchmarks, it yields consistent gains over the untrained baselines. In particular, the 4B model achieves an average improvement of 13% across all languages on HumanEval-X++, with a gain of 21% on mid-tier languages. Our study establishes a reliable approach of data generation, training, and benchmarking, paving the way toward further bootstrapping the quality of many-to-many translation for programming languages.
- Abstract(参考訳): コード翻訳は多くのプログラミング言語で実行可能な振る舞いを保たなければならないが、ニューラルコード翻訳は主にC++、Java、Pythonといったいくつかのポピュラーな言語に焦点を当てている。
これは、並列監視が不十分なニッチで多対多な設定を残し、可塑性だが実行不可能な翻訳を生成する。
我々は,この設定を,実行ベース監視による嗜好に基づく強化学習を用いて解決する。
私たちのパイプラインはまず、検証可能なシードPythonプログラムを、実行検証コードの多言語プールに拡張します。
このプールを用いて、ベースLLMは言語ペア間の翻訳候補を生成し、その実行結果によってラベル付けする。
結果として得られる嗜好は、言語間の翻訳品質を評価する報酬モデルをトレーニングするために使用される。
最後に,報奨モデルを信号として,600以上の指向言語対 (25 x 24) を用いた基本LLMを最適化する。
ニッチな翻訳機能を評価するために,HumanEval-Xを多言語に拡張した,実行ベースのベンチマークであるHumanEval-X++を導入する。
提案手法をQwen-3.5 4Bモデルと9Bモデルを用いて評価した。
HumanEval-X++と既存のベンチマークでは、トレーニングされていないベースラインよりも一貫したゲインが得られる。
特に、4Bモデルは、HumanEval-X++上のすべての言語で平均13%の改善を実現し、中間層言語では21%向上した。
本研究は,データ生成,トレーニング,ベンチマークの信頼性の高いアプローチを確立し,プログラミング言語の多言語翻訳の質をさらに高めるための道を開くものである。
関連論文リスト
- Scaling Laws for Code: Every Programming Language Matters [73.6302896079007]
コード大言語モデル(Code LLM)は強力だが、トレーニングにはコストがかかる。
異なるプログラミング言語(PL)は、ベースモデルの性能に大きな影響を及ぼす事前トレーニングの間に様々な影響を与える。
本稿では,多言語コードの事前学習のためのスケーリング法則を初めて体系的に検討する。
論文 参考訳(メタデータ) (2025-12-15T16:07:34Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳(メタデータ) (2025-09-30T11:30:08Z) - Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。
コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。
提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
論文 参考訳(メタデータ) (2024-10-13T12:20:12Z) - CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。
各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。
Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文 参考訳(メタデータ) (2024-08-23T11:43:00Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳(メタデータ) (2023-10-31T08:09:20Z) - Measuring The Impact Of Programming Language Distribution [28.96076723773365]
我々は,任意の言語におけるベンチマークの実行ベースの評価を行うためのBabelCodeフレームワークを提案する。
我々は Translating Python Programming Puzzles (TP3) と呼ばれる新しいコード翻訳データセットを提案する。
トレーニングデータセットにおける14の言語分布のバランスをとることで,低リソース言語における大規模言語モデルの性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2023-02-03T19:47:22Z) - XNLI 2.0: Improving XNLI dataset and performance on Cross Lingual
Understanding (XLU) [0.0]
我々は、XNLIに存在する14の言語すべてでMNLIデータセットを再翻訳することで、元のXNLIデータセットの改善に注力する。
また、15言語すべてでモデルを訓練し、自然言語推論のタスクでそれらの性能を分析する実験を行った。
論文 参考訳(メタデータ) (2023-01-16T17:24:57Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳(メタデータ) (2022-10-26T17:17:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。