論文の概要: From Reasoning to Code: GRPO Optimization for Underrepresented Languages

• arxiv url: http://arxiv.org/abs/2506.11027v2
• Date: Mon, 16 Jun 2025 09:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 21:58:07.862488
• Title: From Reasoning to Code: GRPO Optimization for Underrepresented Languages
• Title（参考訳）: 推論からコードへ:未表現言語に対するGRPO最適化
• Authors: Federico Pennino, Bianca Raimondi, Massimo Rondelli, Andrea Gurioli, Maurizio Gabbrielli,
• Abstract要約: 本稿では,Qwen 2.5モデルの小型コードバージョンとグループ相対ポリシー最適化を組み合わせた一般化可能なアプローチを提案する。 推論によるフィードバックを直接強化学習ループに統合することにより、論理的に一貫性があり、構文的に正確なコードを生成する。
• 参考スコア（独自算出の注目度）: 0.7864304771129751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating accurate and executable code using large language models (LLMs) is challenging for languages with limited public training data compared to popular languages such as Python. This paper introduces a generalizable approach that uses small-scale code versions of the Qwen 2.5 model combined with Group Relative Policy Optimization (GRPO) to enable effective code generation through explicit reasoning steps, which is particularly beneficial for languages with smaller source code databases. Using Prolog as a representative use case -- given its limited online presence -- the initial model faced challenges in generating executable code. After some training steps, the model successfully produces logically consistent and syntactically accurate code by directly integrating reasoning-driven feedback into the reinforcement learning loop. Experimental evaluations using mathematical logic problem benchmarks illustrate significant improvements in reasoning quality, code accuracy, and logical correctness, underscoring the potential of this approach to benefit a wide range of programming languages lacking extensive training resources.
• Abstract（参考訳）: 大規模な言語モデル(LLM)を使用して正確で実行可能なコードを生成することは、Pythonのような一般的な言語と比較して、公開トレーニングデータに制限のある言語では難しい。 本稿では,Qwen 2.5 モデルの小型コードバージョンと Group Relative Policy Optimization (GRPO) を組み合わせた一般化可能なアプローチを提案する。 Prologを代表的ユースケースとして – オンライン存在が限定されている – を使用することで,最初のモデルは実行可能なコードを生成する上での課題に直面した。 いくつかのトレーニングステップの後、モデルは、強化学習ループに推論駆動のフィードバックを直接統合することにより、論理的に一貫性があり、構文的に正確なコードを生成する。 数理論理問題ベンチマークを用いた実験的な評価では、推論品質、コード精度、論理的正しさが大幅に向上し、幅広いトレーニングリソースが欠如している幅広いプログラミング言語の恩恵を受けるために、このアプローチの可能性を強調している。

関連論文リスト

• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• Program Semantic Inequivalence Game with Large Language Models [10.358176296850639]
  大きな言語モデル(LLM)は、日々のコーディングタスクにおいて強力なパフォーマンスを達成することができるが、プログラムのセマンティクスに関する非自明な推論を必要とする複雑なタスクでは失敗する可能性がある。 本研究では,意味的不等価ゲームSInQに基づいて,コード推論学習データを合成的に生成する手法について検討する。 この設定により、無限の計算資源の限界における自己再生による理論的に無制限な改善が可能であることを証明した。
  論文  参考訳（メタデータ） (2025-05-02T20:03:35Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• On Explaining (Large) Language Models For Code Using Global Code-Based Explanations [45.126233498200534]
  Language Models for Code (LLM4Code)は、ソフトウェア工学(SE)のランドスケープを大きく変えた。 我々は、厳密な数学的基盤を持つ手法であるコード論理(Code$Q$)を導入し、個々のコード予測を説明できるトークンのサブセットを特定する。 評価の結果、Code$Q$は意味のある入力概念(すなわち自然言語粒子)が出力生成にどのように影響するかを説明するための強力な解釈可能性法であることがわかった。
  論文  参考訳（メタデータ） (2025-03-21T01:00:45Z)
• An Effective Approach to Embedding Source Code by Combining Large Language and Sentence Embedding Models [6.976968804436321]
  本稿では,大言語と文埋め込みモデルを組み合わせた新しいソースコード埋め込み手法を提案する。 提案手法の性能を評価するため,異なるプログラミング言語を用いた3つのデータセットについて一連の実験を行った。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• Large Language Model for Verilog Generation with Code-Structure-Guided Reinforcement Learning [29.135207235743795]
  本稿では、強化学習によって強化されたLLMであるVeriSeekを紹介し、高いVerilogコード生成性能を実現する。 我々の強化学習アプローチでは、事前学習されたモデルを洗練するためのフィードバック信号として、コード構造情報を用いる。 実験によると、VeriSeekは複数のベンチマークで最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-07-21T11:25:21Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  CodeGRAGは、制御フローとそれらのデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミングドメインの知識をよりよく解釈する。 CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。