論文の概要: CRScore++: Reinforcement Learning with Verifiable Tool and AI Feedback for Code Review

• arxiv url: http://arxiv.org/abs/2506.00296v1
• Date: Fri, 30 May 2025 22:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.6814
• Title: CRScore++: Reinforcement Learning with Verifiable Tool and AI Feedback for Code Review
• Title（参考訳）: CRScore++: 検証可能なツールによる強化学習とコードレビューのためのAIフィードバック
• Authors: Manav Nitin Kapadnis, Atharva Naik, Carolyn Rose,
• Abstract要約: コードレビューコメント生成を改善するための強化学習(RL)には、構造化されていない出力を扱う必要がある。 我々は、主観的フィードバックと検証可能な信号の両方を活用するRLフレームワークであるCRScore++を提案する。 CRScore++は教師モデルから教師付き微調整とRL批判を組み合わせることで、より弱い学生モデルを改善することを示す。
• 参考スコア（独自算出の注目度）: 3.8128720045634044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) to improve code review comment generation requires handling unstructured outputs, making reinforcement learning (RL) feedback challenging. The two main RL approaches, namely RL with Verifiable Feedback (RLVR) and RL with AI Feedback (RLAIF), offer trade-offs: RLVR provides reliable feedback for structured tasks like code generation, while RLAIF works for unstructured outputs but is subjective. We bridge this gap with CRScore++, an RL framework that leverages both LLM-based subjective feedback and verifiable signals for training. Extending CRScore, a code review evaluation metric integrating LLMs with verifiers like linters and code smell detectors, CRScore++ transforms these signals into training rewards. We show that CRScore++ improves a weaker student model through a combination of supervised fine-tuning and RL critique from a stronger teacher model, thus enabling generalization to novel programming languages.
• Abstract（参考訳）: コードレビューのコメント生成を改善するための強化学習(RL)には、構造化されていない出力を扱う必要があり、強化学習(RL)のフィードバックを難しくする。 RLVRはコード生成のような構造化されたタスクに対して信頼性の高いフィードバックを提供するが、RLAIFは構造化されていないアウトプットに対して機能するが、主観的である。 LLMベースの主観的フィードバックと、トレーニングのための検証可能な信号の両方を活用するRLフレームワークであるCRScore++で、このギャップを埋める。 CRScoreを拡張して、LLMをリンタやコードの臭い検知器のような検証器と統合したコードレビュー評価メトリクスとして、CRScore++はこれらの信号をトレーニング報酬に変換する。 CRScore++は教師モデルから教師付き微調整とRL批判を組み合わせることで、より弱い学生モデルを改善することを示し、新しいプログラミング言語への一般化を可能にする。

関連論文リスト

• SeRL: Self-Play Reinforcement Learning for Large Language Models with Limited Data [65.56911325914582]
  限られた初期データを用いたLarge Language Models (LLM) トレーニングのブートストラップとして,SeRL(Se-play Reinforcement Learning)を提案する。 提案したSeRLは、その結果よりも優れ、検証可能な報酬を持つ高品質なデータと同等の性能が得られる。
  論文  参考訳（メタデータ） (2025-05-25T13:28:04Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [67.30809748319486]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• RefineCoder: Iterative Improving of Large Language Models via Adaptive Critique Refinement for Code Generation [13.75248879205993]
  本稿では,自己生成コードと外部批判によってモデルを洗練できる適応的批評精細化(ACR)を提案する。 ACRは、コード応答の品質を評価するためのLCM-as-a-Judgeを備えた複合スコアシステムを含む。 我々は、ACRを反復的に適用し、複数のコード生成ベンチマークで連続的な性能改善を実現するRefineCoderシリーズを開発した。
  論文  参考訳（メタデータ） (2025-02-13T11:17:53Z)
• Teaching Language Models to Critique via Reinforcement Learning [59.36253627145115]
  我々は、textttCTRL$でトレーニングされた批評家が、パスレートを大幅に向上し、ベースモデルとより強力なジェネレータモデルの両方でエラーを軽減することを示した。 また、これらの批判モデルが正確な生成報酬モデルとして機能し、反復的批評・修正によるテストタイムスケーリングを可能にすることを示す。
  論文  参考訳（メタデータ） (2025-02-05T02:18:46Z)
• Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
  単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。 本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:22:33Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• RLTF: Reinforcement Learning from Unit Test Feedback [17.35361167578498]
  Reinforcement Learning from Unit Test Feedback(リンク)は、新しいオンラインRLフレームワークである。 提案手法は,訓練中にリアルタイムにデータを生成し,高精度なフィードバック信号を用いて高品質なコードを生成する。
  論文  参考訳（メタデータ） (2023-07-10T05:18:18Z)
• Coarse-Tuning Models of Code with Reinforcement Learning Feedback [0.0]
  コード上で事前訓練されたLarge Language Models (LLM) が、プログラム合成の主流のアプローチとして登場した。 コードの品質を評価する接地関数からのフィードバックを用いて、強化学習により事前学習したLLMをさらに訓練するRCCFを提案する。
  論文  参考訳（メタデータ） (2023-05-25T22:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。