論文の概要: FLARE: A Full-Lifecycle Dense Supervision Paradigm for Long-Horizon Coding Agents via Generative Reward Model
- arxiv url: http://arxiv.org/abs/2609.23808v1
- Date: Sun, 20 Sep 2026 18:54:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.001935
- Title: FLARE: A Full-Lifecycle Dense Supervision Paradigm for Long-Horizon Coding Agents via Generative Reward Model
- Title（参考訳）: FLARE:ジェネレーティブ・リワードモデルによる長距離符号化エージェントのためのフルライフサイクルDense Supervision Paradigm
- Abstract要約: 軽量なジェネレーティブ・リワード・モデル(GRM)によって駆動される新しい集中管理パラダイムであるFLAREを提案する。
推論中、FLAREはActive Scaffoldとして機能し、ローカライズされたブレークポイント再実行のためのハイリスク生成ステップを自律的にインターセプトする。
ポストトレーニング中、GRMの構造化信号は、強化ファインチューニング(SFT)のためのプロセス監督リランキングスコアと、監視学習(RL)のためのステップレベル密度報酬として機能する。
- 参考スコア（独自算出の注目度）: 25.256792025599808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While test-time scaling enhances Large Language Model (LLM) agents in long-horizon software engineering (SWE), sparse binary rewards (Pass/Fail) create a severe credit assignment crisis and waste failed exploratory trajectories. Current trajectory optimization and scaling methods are costly and structurally limited, relying on heuristic state reuse without causal diagnosis or delayed scalar scoring without actionable online guidance. We propose FLARE (Full-Lifecycle Alignment and Reward Engine), a novel dense supervision paradigm driven by a lightweight Generative Reward Model (GRM). First, RADAR, an offline causal-aware diagnostic framework, extracts high-fidelity, hindsight-free supervision through causal-chain backtracking to distill a GRM providing real-time, step-level risk feedback. Second, FLARE uses this GRM to continuously optimize the agent across its entire lifecycle. During inference, FLARE acts as an Active Scaffold, autonomously intercepting high-risk generation steps for localized breakpoint re-execution, drastically reducing compute overhead. During post-training, the GRM's structured signals serve as process-supervised reranking scores for Supervised Fine-Tuning (SFT) and step-level dense rewards for Reinforcement Learning (RL), mitigating policy collapse in sparse environments. Extensive evaluations show that FLARE establishes a new Pareto frontier across the agent lifecycle: FLARE (N=1) outperforms Global Rollout (N=5) with a 5x reduction in token consumption. Extending FLARE to training overcomes the sparse reward problem in long-horizon interactive tasks, delivering relative performance gains of 19.13% in SFT through process-aware data curation and a consistent 9.19% improvement in RL.
- Abstract（参考訳）: テストタイムスケーリングは、長期的ソフトウェアエンジニアリング(SWE)におけるLarge Language Model(LLM)エージェントを強化しますが、スパースバイナリ報酬(Pass/Fail)は深刻な信用割り当ての危機を引き起こし、無駄な探索軌道が失敗します。
現在の軌道最適化とスケーリング手法はコストと構造的に制限されており、因果診断や遅延スカラースコアなしでのヒューリスティックな状態再利用に依存している。
FLARE(Full-Lifecycle Alignment and Reward Engine)は,軽量なジェネレーティブ・リワード・モデル(GRM)によって駆動される新しい高密度監視パラダイムである。
まず、オフラインの因果認識診断フレームワークであるRADARは、因果連鎖のバックトラックを通じて高忠実で後見のない監視を抽出し、リアルタイムのステップレベルのリスクフィードバックを提供するGRMを蒸留する。
第2に、FLAREはこのGRMを使用して、そのライフサイクル全体にわたってエージェントを継続的に最適化します。
推論中、FLAREはActive Scaffoldとして機能し、ローカライズされたブレークポイント再実行のためのハイリスク生成ステップを自律的にインターセプトし、計算オーバーヘッドを大幅に削減する。
ポストトレーニング中、GRMの構造化信号は、監督された細調整(SFT)のためのプロセス監督されたスコアと強化学習(RL)のためのステップレベルの高密度報酬として機能し、スパース環境での政策崩壊を緩和する。
FLARE (N=1)は5倍のトークン消費でGlobal Rollout (N=5)を上回っている。
FLAREをトレーニングに拡張することは、長期の対話タスクにおけるスパース報酬の問題を克服し、プロセス認識データキュレーションによるSFTの相対的なパフォーマンス向上率19.13%、RLの一貫性のある9.19%の向上を実現した。
関連論文リスト
- Stable-MM-R1: Anchoring Multimodal Reasoning Dynamics via Entropy-Guided Stratification [19.490862077232205]
強化学習訓練の安定化を目的としたデータ中心型フレームワークを提案する。
まず、動的にデータをフィルタリングして「蒸留ゾーン」にフォーカスする潜在的クエリマイニング(PAQM)を導入する。
本稿では,Hybrid Stratified Replay(HSR)を提案する。これは,Path Entropyに基づくロールアウトの階層化,ロールアウトレベルの信頼性プロキシ,結果報酬に基づいてバッチを再構成する機構である。
論文 参考訳（メタデータ） (2026-09-07T07:47:00Z) - ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。
Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。
ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文 参考訳（メタデータ） (2026-09-01T10:54:13Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework [6.490241400619907]
内部フィードバックからの強化学習は、スケーラブルで教師なしの代替手段として最近登場した。
本稿では,学習信号を2つの補完成分に分解するマルチリワードRLIFフレームワークを提案する。
提案手法は,外部の地平監督に頼らずに,安定した長距離推論を支援することができることを示す。
論文 参考訳（メタデータ） (2026-05-21T15:30:47Z) - SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling [13.335296846555204]
現在のパイプラインは、最適化されていないデモデータ、スパース実行報酬、計算的に禁止された推論スケーリングによってボトルネックされる。
SWE-TRACEはデータキュレーション、強化学習(RL)、テスト時間推論にまたがるSWEエージェントライフサイクルを最適化する統合フレームワークである。
標準SWEベンチマークの実験により、SWE-TRACEは、両方のトークン消費推論遅延を大幅に削減しつつ、解決率を最大化し、最先端の精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-04-16T09:41:47Z) - Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。
統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入
検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
論文 参考訳（メタデータ） (2026-04-08T00:53:29Z) - Mitigating Temporal Blindness in Kubernetes Autoscaling: An Attention-Double-LSTM Framework [0.0]
本稿では,作業負荷の予測と制御をアテンション強化型2重スタックLSTMアーキテクチャを介して統合する,安定性を考慮した自動スケーリングフレームワークを提案する。
このアプローチは90パーセントのレイテンシを約29%削減すると同時に,レプリカを39%削減することを示す。
これらの結果は, 生産エッジ環境における信頼性, 低ジッタ自動スケーリングの前提条件として, 深い注意記憶による時間的盲点の緩和が重要であることを確認した。
論文 参考訳（メタデータ） (2026-03-21T10:03:53Z) - Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation [56.92367609590823]
Long Chain-of-Thought (Long CoT)推論は、Large Language Models (LLMs)において有望であることを示している。
我々はLong CoTが本質的にシーケンシャルなレコメンデーションドメインに不適合であると主張している。
提案するRISER(Reinforced Item Space Exploration framework for Recommendation)を提案する。
論文 参考訳（メタデータ） (2026-01-31T10:02:43Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。