論文の概要: Enhancing Bug-Exposing Test Generation via Step-Level Credit Assignment and Self-Distillation from Valuable Failures
- arxiv url: http://arxiv.org/abs/2610.27694v1
- Date: Tue, 20 Oct 2026 06:13:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.669363
- Title: Enhancing Bug-Exposing Test Generation via Step-Level Credit Assignment and Self-Distillation from Valuable Failures
- Title（参考訳）: ステップレベルクレジットアサインメントによるバグ拡張テスト生成の強化と有意義な失敗からの自己蒸留
- Abstract要約: 大規模言語モデルは強力なコード生成機能を示しているが、その出力には微妙なバグがしばしば含まれている。
最近のRLベースのテスト生成手法は、すべての推論ステップに同じ結果報酬を適用している。
ステップレベルのクレジットアサインメントと,価値ある障害軌跡からの目標学習を組み合わせたプロセス教師付きRLアプローチであるSCALFを提案する。
- 参考スコア（独自算出の注目度）: 14.848423211298192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have shown strong code generation capabilities, yet their outputs often contain subtle bugs. Automatically repairing such code requires informative tests: inputs that expose faulty behavior, paired with correct expected outputs. Recent RL-based test generation methods apply the same outcome reward to all reasoning steps, which can discourage useful reasoning and reinforce flawed steps. They also fail to effectively learn from trajectories that find bug-triggering inputs but predict incorrect outputs, leaving their verified bug-triggering progress insufficiently exploited. To address these limitations, we propose SCALF, a process-supervised RL approach that combines Step-level Credit Assignment with targeted Learning from valuable Failed trajectories. SCALF derives step-specific advantages from process rewards, allowing each reasoning stage to receive its own learning signal. It further routes trajectories that expose bugs but predict incorrect outputs to on-policy self-distillation, using execution feedback to learn from their valuable bug-triggering progress. Across three benchmarks, SCALF outperforms strong prompting and post-training baselines by up to 2.97, 5.26, and 3.53 percentage points in joint success rate, output correctness rate, and bug-triggering rate, respectively. Our code and datasets are available at https://anonymous.4open.science/r/SCALF-F4D1.
- Abstract（参考訳）: 大規模言語モデルは強力なコード生成機能を示しているが、その出力には微妙なバグがしばしば含まれている。
このようなコードを自動的に修復するには、情報的なテストが必要です。
近年のRLベースのテスト生成手法はすべての推論ステップに同じ結果報酬を適用しており、有用な推論を回避し、欠陥のあるステップを補強することができる。
彼らはまた、バグトリガのインプットを見つけるトラジェクトリから効果的に学ぶことができず、誤ったアウトプットを予測し、検証済みのバグトリガの進捗を十分に活用し続けます。
これらの制約に対処するために,ステップレベルのクレジットアサインメントと,価値ある障害軌道からのターゲット学習を組み合わせたプロセス教師付きRLアプローチであるSCALFを提案する。
SCALFはプロセス報酬からステップ固有の利点を導き、各推論段階が独自の学習信号を受け取ることを可能にする。
さらに、バグを露呈するトラジェクトリをルーティングするが、誤ったアウトプットをオン・ポリケーションの自己蒸留に予測し、実行フィードバックを使用して、貴重なバグトリガーの進捗から学ぶ。
3つのベンチマークで、SCALFは、それぞれ2.97点、5.26点、および3.53点の合同成功率、出力の正しさ率、バグトリガー率において、強いプロンプトと後トレーニングベースラインを上回っている。
私たちのコードとデータセットはhttps://anonymous.4open.science/r/SCALF-F4D1で公開されています。
関連論文リスト
- Success Leaves Detours: Learning Executable Walkthroughs for Long-Horizon Agents [11.833965746124408]
テストタイムの自己進化エージェントは過去の経験を再利用することで改善されるが、スパース・リワード・トラジェクトリには障害、ループ、デトゥールが含まれる。
我々は、ノイズの多いトラジェクトリを実行可能なウォークスルーメモリにコンパイルする依存基盤フレームワークであるTraceを提案する。
J-TTL、WebShop、ScienceWorldの3つのオープンソースのLCMによる実験によると、トレースは8つのテスト時間学習とメモリベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-08-20T01:10:11Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - What Does Flow Matching Bring To TD Learning? [28.717975688380488]
強化学習(RL)におけるスカラーQ値関数推定にフローマッチングが有効である
これらの結果から, 分布 RL ではその成功は説明されず, リターン分布を明示的にモデル化することで, 性能が低下することを示した。
我々は,この統合プロセスの各ステップにおける値の読み出しと高密度な速度管理に積分を用いることで,2つのメカニズムによるTD学習が向上すると主張している。
論文 参考訳（メタデータ） (2026-03-04T17:51:30Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。
既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。
機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文 参考訳（メタデータ） (2026-01-30T10:33:29Z) - CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning [4.765206163164323]
CLEANERは本質的な自己訂正機能を利用して、データ収集中にエラーに汚染されたコンテキストを除去する。
類似性を考慮した適応ロールバック機構は、クリーンで清浄な軌道を自律的に構築する。
その結果, 平均精度は6%, 3%, 5%であった。
論文 参考訳（メタデータ） (2026-01-21T16:14:30Z) - InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。
標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。
Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
論文 参考訳（メタデータ） (2026-01-20T18:15:38Z) - Step Potential Advantage Estimation: Harnessing Intermediate Confidence and Correctness for Efficient Mathematical Reasoning [25.562101968892833]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)における長い連鎖推論を導く
既存のアプローチでは、トークンレベルのエントロピーやシーケンスレベルの長さ制御を通じてRLVRを改善するが、推論の進捗を意味的に基礎づけたステップレベルの尺度は欠如している。
本研究では,潜在的利得を増幅し,潜在的利得をペナルティ化し,飽和後のペナルティを適用してタイムリーな終了を促す,詳細な信用割当手法であるステップ電位アドバンテージ推定(SPAE)を提案する。
論文 参考訳（メタデータ） (2026-01-07T11:36:01Z) - Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。
オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。
短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
論文 参考訳（メタデータ） (2025-10-20T16:45:43Z) - Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。
多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。
また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
論文 参考訳（メタデータ） (2025-07-22T17:56:01Z) - Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。
我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。
精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-07-14T17:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。