論文の概要: Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation

• arxiv url: http://arxiv.org/abs/2607.07748v1
• Date: Wed, 08 Jul 2026 09:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.286021
• Title: Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation
• Title（参考訳）: 選択左シフト:テスト時間計算と難易度に基づくキュレーションを低リソースコード生成のためのトレーニングデータに変換する
• Abstract要約: 大きな言語モデルは、PythonやJavaのような高リソース言語に対して強力なコード生成を実現しますが、Juliaのような低リソースプログラミング言語(LRPL)では、パフォーマンスが急落します。 本稿では,アルゴリズム推論から構文獲得を分離することで,このトリレンマを解消する3相パイプラインを提案する。 Qwen3-8Bを適用すると、私たちのパイプラインは、MultiPL-Eで+7.6ポイント、JuliaでAgnostics LiveCodeBenchで+14.2ポイント、パス@1を改善します。
• 参考スコア（独自算出の注目度）: 0.8602553195689513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models achieve strong code generation for high resource languages like Python and Java but suffer sharp performance drops on Low-Resource Programming Languages~(LRPLs) such as Julia. Improving Small Language Models~(SLMs) for these languages faces a trilemma: Supervised Fine-Tuning~(SFT) is bottlenecked by data scarcity, inference-time scaling is too expensive for deployment, and Reinforcement Learning from scratch yields near zero advantages. We propose a three-phase pipeline that resolves this trilemma by decoupling syntax acquisition from algorithmic reasoning. First, we \emph{left-shift} inference-time compute to an offline data synthesis engine that uses iterative compiler and test feedback to generate verified training examples. Second, we fine-tune an SLM on this synthetic, verified data to embed strong syntactic priors. Third, we apply Reinforcement Learning with Verifiable Reward~(RLVR) grounded by language-agnostic Input/Output tests, where the SFT prior constrains exploration away from syntax errors. Applied to Qwen3-8B, our pipeline improves pass@1 by up to +7.6 points on MultiPL-E and +14.2 points on the Agnostics LiveCodeBench for Julia compared to SOTA results. Furthermore, the pipeline only used $\frac{1}{3}$ data and $\frac{1}{6}$ cost over the previous state-of-the-art. We further demonstrate that the pipeline generalizes to Ballerina achieving 49.7\% MultiPL-E Pass@1, a language with near-zero pretraining representation. Ablations confirm that both the SFT phase and execution-grounded rewards are necessary for stable training.
• Abstract（参考訳）: 大規模言語モデルは、PythonやJavaのような高リソース言語に対して強力なコード生成を実現するが、Juliaのような低リソースプログラミング言語~(LRPL)の性能低下に苦しむ。 Supervised Fine-Tuning~(SFT)はデータの不足によってボトルネックになり、推論時間のスケーリングはデプロイメントには高すぎる。 本稿では,アルゴリズム推論から構文獲得を分離することで,このトリレンマを解消する3相パイプラインを提案する。 まず、繰り返しコンパイラとテストフィードバックを使用して、検証済みのトレーニング例を生成するオフラインデータ合成エンジンに推論時間計算を適用。 第二に、この合成検証データに基づいてSLMを微調整し、強力な構文を組み込む。 第3に、言語に依存しない入力/出力テストによって基礎付けられたReinforcement Learning with Verifiable Reward~(RLVR)を適用する。 Qwen3-8Bに適用すると、私たちのパイプラインは、MultiPL-Eで+7.6ポイント、JuliaのAgnostics LiveCodeBenchで+14.2ポイントでpass@1を改善します。 さらに、パイプラインは以前の最先端よりも$\frac{1}{3}$データと$\frac{1}{6}$コストのみを使用していた。 さらに、パイプラインがBallerinaに一般化され、ほぼゼロの事前学習表現を持つ言語であるMultiPL-E Pass@1が49.7\%に達することを実証する。 アブレーションにより、安定したトレーニングには、SFTフェーズと実行グラウンドド報酬の両方が必要であることが確認される。

関連論文リスト

• Translate-R1: Cost-Aware Translation Tool Use via Reinforcement Learning [25.323183334678195]
  我々は、報酬のみから翻訳する時期を決定する政策を学習し、言語とドメイン適応のイントロスペクションを開発する。 私たちは、トレーニング、言語、ドメインごとのツールの使用方法を分析します。
  論文  参考訳（メタデータ） (2026-06-05T02:21:41Z)
• Reference-Free Reinforcement Learning Fine-Tuning for MT: A Seq2Seq Perspective [1.786053901581251]
  GRPOは従来の中国語で最大$5.03 chrF++の13言語に対して一貫した改良を施しており、ターゲット言語データなしでは、形態学的に複雑な言語に関する3つのエポック的な微調整と競合する。 我々は、ゲインが最大であり、ベースライン性能が最も低く、報酬の差別性が最高である一貫した経験的パターンを同定する。
  論文  参考訳（メタデータ） (2026-05-15T14:11:23Z)
• Scaling Latent Reasoning via Looped Language Models [109.64154923739842]
  事前学習されたループ言語モデル(LoopLM)のファミリーであるOuroを提示し、オープンソース化する。 Ouro は (i) 潜時空間における反復計算, (ii) 学習深度割り当てのためのエントロピー規則化された目的, (iii) 7.7T トークンへのスケーリングによる事前学習段階への推論を構築する。
  論文  参考訳（メタデータ） (2025-10-29T17:45:42Z)
• Agnostics: Learning to Code in Any Programming Language via Reinforcement with a Universal Learning Environment [44.47221244109926]
  Agnosticsは、言語毎のエンジニアリングを排除する、言語に依存しないポストトレーニングパイプラインである。 キーとなるアイデアは、外部から観測可能な振る舞いだけでコードを判断することであり、単一の検証者が任意の言語で記述されたソリューションをテストすることができる。 私たちは、言語に依存しないトレーニングデータセット(Ag-MBPP-X、Ag-Codeforces-X、Ag-LiveCodeBench-X)、トレーニングコード、使用可能な設定をリリースします。
  論文  参考訳（メタデータ） (2025-08-06T20:30:55Z)
• $\textbf{PLUM}$: Improving Code LMs with Execution-Guided On-Policy Preference Learning Driven By Synthetic Test Cases [28.791570350483816]
  刑法上の$textbfP$reference $textbfL$earning framework A$textbfu$gmented with test case for code L$textbfM$ s。 PLUMは報酬モデルをトレーニングする必要性を緩和し、大規模なオンラインとオンラインの嗜好データ照合を可能にする。 PLUMの利点は、SFTで十分に訓練されていなくても、様々な広く使われているコードLM間で一貫性があることを示します。
  論文  参考訳（メタデータ） (2024-06-11T02:07:18Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• GECTurk: Grammatical Error Correction and Detection Dataset for Turkish [1.804922416527064]
  文法的誤り検出・訂正(GEC)ツールは、母語話者と第二言語学習者にとって有用であることが証明されている。 合成データ生成は、そのようなデータの不足を克服するための一般的なプラクティスである。 トルコ語のためのフレキシブルで総合的なデータ生成パイプラインを提案し、20以上の専門家による文法と綴り規則をカバーしている。
  論文  参考訳（メタデータ） (2023-09-20T14:25:44Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Improving Code Generation by Training with Natural Language Feedback [69.52985513422381]
  自然言語フィードバックから学習するアルゴリズムを訓練時に形式化し、それをILF(Language Feedback)と呼ぶ。 ILFはトレーニング中に少量の人間によるフィードバックしか必要とせず、テスト時に同じフィードバックを必要としないため、ユーザフレンドリでサンプル効率がよい。 Instly Basic Python Problems (MBPP)ベンチマークでは、ICFを使用してCodegen-Mono 6.1Bモデルのpass@1レートを38%改善しています。
  論文  参考訳（メタデータ） (2023-03-28T16:15:31Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。