論文の概要: Enhancing the Code Reasoning Capabilities of LLMs via Consistency-based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.17958v1
• Date: Mon, 18 May 2026 07:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.942952
• Title: Enhancing the Code Reasoning Capabilities of LLMs via Consistency-based Reinforcement Learning
• Title（参考訳）: 一貫性に基づく強化学習によるLLMのコード推論能力の強化
• Authors: Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao,
• Abstract要約: コード推論とは、ソースコードと特定の入力を与えられたプログラムの出力を予測するタスクを指す。 既存の作業は、そのタスクにおける強化学習の有効性を検証した。 コード推論のための一貫性駆動型強化学習フレームワークであるCodeThinkerを提案する。
• 参考スコア（独自算出の注目度）: 17.688379880523566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code reasoning refers to the task of predicting the output of a program given its source code and specific inputs. It can measure the reasoning capability of large language models (LLMs) and also benefit downstream tasks such as code generation and mathematical reasoning. Existing work has verified the effectiveness of reinforcement learning on the task. However, these methods design rewards solely based on final outputs or coarse-grained signals, and neglect the inherent consistency of the stepwise reasoning process in the task. Therefore, these methods often result in sparse reward or reward hacking, which limits the full play of enhanced learning capabilities. To alleviate these issues, we propose CodeThinker, a consistency-driven reinforcement learning framework for code reasoning. Specifically, CodeThinker has three key components: (1) a stepwise reasoning-aware model training module, which utilizes a consistency tracing paradigm as a template to synthesize training data that captures the stepwise reasoning process; (2) a dynamic beam sampling strategy, which aims to improve the quality of sampled outputs under a fixed sampling budget; and (3) a consistency reward mechanism that can effectively alleviate reward hacking. Experiments on three popular benchmarks show that CodeThinker achieves state-of-the-art performance across multiple LLMs. For instance, it outperforms the strongest baseline by 4.3% in accuracy when deployed on Qwen2.5-Coder-7B-Instruct. We also validate the effectiveness of CodeThinker on downstream tasks. Results show that, without additional training, CodeThinker obtains average accuracy gains of 5.33 and 3.11 percentage points on mathematical reasoning and code reasoning tasks covering 17 programming languages, respectively.
• Abstract（参考訳）: コード推論とは、ソースコードと特定の入力を与えられたプログラムの出力を予測するタスクを指す。 大規模言語モデル(LLM)の推論能力を測定したり、コード生成や数学的推論といった下流タスクの恩恵を受けることができる。 既存の作業は、そのタスクにおける強化学習の有効性を検証した。 しかし、これらの手法は最終的な出力や粗い信号のみに基づいて報酬を設計し、タスクの段階的推論プロセスの固有の一貫性を無視する。 したがって、これらの手法は、しばしばスパース報酬や報酬のハッキングをもたらし、学習能力の強化の完全な遊びを制限する。 これらの問題を緩和するため、コード推論のための一貫性駆動型強化学習フレームワークであるCodeThinkerを提案する。 特に、CodeThinkerは、(1)段階的推論対応モデルトレーニングモジュール、(2)段階的推論過程をキャプチャするトレーニングデータをテンプレートとして利用する一貫性トレースパラダイム、(2)一定のサンプリング予算下でのサンプル出力の品質向上を目的としたダイナミックビームサンプリング戦略、(3)報酬ハッキングを効果的に軽減できる一貫性報酬機構、の3つの重要な構成要素を有している。 3つの人気のあるベンチマーク実験により、CodeThinkerは複数のLLMで最先端のパフォーマンスを実現している。 例えば、Qwen2.5-Coder-7B-Instructにデプロイすると、最強のベースラインの精度が4.3%向上する。 また、下流タスクにおけるCodeThinkerの有効性を検証する。 結果として、追加のトレーニングなしで、CodeThinkerは17のプログラミング言語をカバーする数学的推論タスクにおいて平均精度5.33と3.11のポイントを得ることができた。

関連論文リスト

• Evaluating and Achieving Controllable Code Completion in Code LLM [89.64782747840225]
  命令誘導型コード補完ベンチマークである制御可能コード補完ベンチマーク(C3-Bench)を提案する。 コード補完作業中に,オープンソースのプロプライエタリモデルと高度なプロプライエタリモデルの間に,命令追従機能にかなりのギャップがあることを明らかにする。 結果として得られたQwen2.5-Coder-C3は、C3-Bench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-22T11:40:04Z)
• Readability-Robust Code Summarization via Meta Curriculum Learning [53.44612630063336]
  現実の世界では、コードが貧弱な構造や難読化され、モデルのパフォーマンスが著しく低下することが多い。 本稿では,可読性の低いコードに対するコード要約の堅牢性を向上する,新しい微調整手法であるRoFTCodeSumを提案する。
  論文  参考訳（メタデータ） (2026-01-09T02:38:24Z)
• Chain of Execution Supervision Promotes General Reasoning in Large Language Models [48.100128916029064]
  TracePileは260万のサンプルからなる大規模なコーパスで、コード実行を明示的でステップバイステップのチェーン・オブ・シンクスタイルの論理に変換する。 我々は,継続事前訓練,事前訓練後の指導訓練,2段階微調整という3つのトレーニング設定を用いてTracePileを評価する。 特にTracePileは、9つの数学データセットでLLaMA3.1-8Bを平均7.1%向上させ、LiveCodeBench、CRUX、MMLUで明確なゲインを提供する。
  論文  参考訳（メタデータ） (2025-10-24T02:21:11Z)
• CodeBoost: Boosting Code LLMs by Squeezing Knowledge from Code Snippets with RL [28.43882967593511]
  コード大言語モデル(LLM)は、効率的で自動化されたコーディングパイプラインを構築するのに欠かせないツールになっている。 既存のモデルは、「ヒューマンインストラクション-ファイナル応答」ペアを用いて汎用LLMから強化学習(RL)を用いて後訓練されるのが一般的である。 我々は,コードスニペットからLLMを純粋に拡張するフレームワークであるCodeBoostを提案する。
  論文  参考訳（メタデータ） (2025-08-07T10:31:24Z)
• CodeReasoner: Enhancing the Code Reasoning Ability with Reinforcement Learning [8.197518276987989]
  コード推論は、コードドメインにおける大きな言語モデル(LLM)の基本的な機能である。 それまでのアプローチは、主にコード推論タスクのパフォーマンスを改善するために教師付き微調整に依存していた。 これはトレーニングデータの低品質と教師付き微調整の制限という2つの中核的な問題によるものです。 データセット構築と2段階のトレーニングプロセスの両方にまたがるフレームワークであるCodeReasonerを提案する。
  論文  参考訳（メタデータ） (2025-07-23T14:26:58Z)
• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions [8.540135660509058]
  大規模言語モデル(LLM)は数学やコーディングにおいて顕著な推論能力を示している。 影響関数を利用して、LLMの推論能力を数学やコーディングに当てはめ、個々のトレーニング例、シーケンス、トークンに当てはめます。 高い微分率の数学の例は、算術とコード推論の両方を改善するが、低微分率のコードタスクは、コードの推論に最も効果的に寄与する。
  論文  参考訳（メタデータ） (2025-05-26T13:15:26Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。