論文の概要: Process Advantage Signal Shaping: A Paradigm-Agnostic Middleware for Process-Supervised RL in LLM Reasoners

• arxiv url: http://arxiv.org/abs/2606.29296v1
• Date: Sun, 28 Jun 2026 09:36:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.871615
• Title: Process Advantage Signal Shaping: A Paradigm-Agnostic Middleware for Process-Supervised RL in LLM Reasoners
• Title（参考訳）: プロセスアドバンテージ信号整形:LLM共振器におけるプロセススーパービジョンRLのためのパラダイム非依存ミドルウェア
• Abstract要約: Group Relative Policy Optimization (GRPO)は、プロセスによる推論の強化学習のためのデフォルトのレシピである。 このような段階的なシグナルをGRPOのグループの標準化された利点の上に重ねると、3つの構造的病理が明らかになる。 ステップレベルのプロセス信号とGRPOのクリッピングサロゲートの間に位置するコンパクトなTextbf PASS(emphProcess Advantage Signal Shaping)を提案する。
• 参考スコア（独自算出の注目度）: 43.68264567803393
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) is a default recipe for process-supervised reinforcement learning of LLM reasoners, and dense process supervision -- via learned process reward models (PRMs) or on-policy-distillation KL signals -- is a common way to densify its otherwise weak outcome reward. Layering such a step-level signal on top of GRPO's group-standardized advantage, however, exposes three structural pathologies: \emph{channel contamination} between the pooled process, outcome, and format streams at group standardization; \emph{resolution mismatch} between the granularity of the process signal and the granularity of the logical decisions being credited; and a \emph{cumulative trap} by which GRPO's return-to-go sum surfaces either length inflation or truncated exploration depending on the sign regime of the signal. We propose \textbf{PASS} (\emph{Process Advantage Signal Shaping}), a compact middleware that sits between any scalar step-level process signal and GRPO's clipped surrogate and addresses the three pathologies in turn: \emph{Advantage Fusion} standardizes the three streams independently within each group, \emph{Chunk-by-Value} derives value-homogeneous chunks from the signal itself and broadcasts credit within each chunk, and \emph{Divide-Length} converts the cumulative objective into an average-value-density score. We validate PASS across two domains and two process-signal paradigms -- a learned PRM on mathematical reasoning and an on-policy-distillation KL signal (with a generalized variant) on multi-hop question answering -- and under two group-standardization operators. In every regime PASS delivers a consistent pass@1 gain over the corresponding GRPO baseline.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、LLM推論のプロセス教師付き強化学習のデフォルトのレシピであり、学習プロセス報酬モデル(PRM)またはオンライン蒸留KL信号(英語版)を介して、密集プロセスの監督は、他の弱い結果報酬を密度化するための一般的な方法である。 しかし、GRPOのグループの標準化された利点の上にそのような段階的なシグナルを階層化すると、プールされたプロセス、結果、およびグループ標準化時のフォーマットストリーム間の \emph{channel contamination} 、プロセス信号の粒度と認定される論理的決定の粒度の間の \emph{ resolution mismatch} 、GRPOの戻り帰路の合計が信号の符号状態によって長さのインフレーションまたは切り離された探索のいずれにも依存する \emph{cumulative trap} という3つの構造的病理が明らかにされる。 我々は,任意のスカラーステップレベルプロセス信号とGRPOのクリッピングサロゲートの間に位置するコンパクトミドルウェアである \textbf{PASS} (\emph{Process Advantage Signal Shaping})を提案し,各グループ内で独立に3つのストリームを標準化する \emph{Chunk-by-Value} は信号自体から均一なチャンクを導出し,各チャンク内でクレジットをブロードする \emph{Divide-Length} は累積目標を平均値密度スコアに変換する。 2つの領域にわたるPASSと2つのプロセス信号パラダイム – 数学的推論を学習したPRMと、マルチホップ質問応答のKL信号(一般化された変種を含む) – と、2つのグループ標準演算子の下で検証する。 すべてのシステマでは、PASSは対応するGRPOベースラインに対して一貫したpass@1ゲインを提供する。

関連論文リスト

• Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
  我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。 GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。 ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
  論文  参考訳（メタデータ） (2026-09-11T04:19:44Z)
• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
  推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。 我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。 9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-31T08:44:36Z)
• N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
  我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。 トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。 N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-06-09T12:21:27Z)
• Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs [69.56407708794845]
  MultimodalAttributed Graph Learning (MAGL)はグラフアグリゲーションを通じてノード属性と構造トポロジーを統合する。 事前訓練されたエンコーダがLarge Foundation Models (LFM) へと進化するにつれて、MAGLのランドスケープは根本的に変化していく。 高信頼のLFM先行の下では、強制集約は、識別シグナルを圧倒するトポロジカル固有のノイズを導入する。 本稿では、分離されたデュアルパスパラダイムであるSUPRA(Shared-Unique Prior-Retaining Architecture)を提案する。 SUPRAは、トポロジ・アグノシクスによるモーダリティ特異的な特徴を処理し、軽量共有GNNを介して構造相乗効果を捉え、補助的な深層監視対策の勾配飢餓を発生させる。
  論文  参考訳（メタデータ） (2026-05-23T17:42:25Z)
• OPPO: Bayesian Value Recursion for Token-Level Credit Assignment in LLM Reasoning [17.98540130851038]
  検証可能な報酬を伴う強化学習は、LSM推論を改善するための標準的なレシピとなっている。 しかし、支配的なアルゴリズム GRPO は全てのトークンに対して単一の軌道レベルの利点を割り当てる。 我々は,Oracle-Prompted Policy Optimization (OPPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T00:55:13Z)
• Signal Reshaping for GRPO in Weak-Feedback Agentic Code Repair [36.31472731207028]
  このようなフィードバックの下で,標準GRPOの信号再構成について検討する。 完全な信号整形GRPOは、厳密なコンパイルとシーケンスの精度を改善する。
  論文  参考訳（メタデータ） (2026-05-08T05:41:25Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• ES-Merging: Biological MLLM Merging via Embedding Space Signals [52.84455878597969]
  埋め込み空間信号からマージ係数を推定する表現対応マージフレームワークを提案する。 提案手法は既存のマージ手法よりも優れており,タスク固有の微調整モデルを超えている。
  論文  参考訳（メタデータ） (2026-03-15T14:38:32Z)
• VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
  本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。 本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。 GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
  論文  参考訳（メタデータ） (2026-01-27T20:59:11Z)
• Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents [56.625878022978945]
  自律的なエージェントとしての大規模言語モデル(LLM)は、複雑で長期にわたる問題の解決にますます取り組まれている。 直接優先度最適化(DPO)は、正確なクレジット代入には大きすぎる信号を提供するが、ステップレベルのDPOは、しばしば、複数のステップの振る舞いの値をキャプチャするには、筋が通らない。 階層的選好学習(HPL)は、複数の相乗的粒度における選好信号を活用することで、LLMエージェントを最適化する階層的フレームワークである。
  論文  参考訳（メタデータ） (2025-09-26T08:43:39Z)
• Single-stream Policy Optimization [21.214853668053234]
  SPO(Single-stream Policy Optimization)を導入する。 SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。 グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
  論文  参考訳（メタデータ） (2025-09-16T16:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。