論文の概要: Conformal Prediction-Enabled Sequence-level Policy Optimization for Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2610.25092v1
• Date: Sun, 18 Oct 2026 07:55:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:40:46.257063
• Title: Conformal Prediction-Enabled Sequence-level Policy Optimization for Reasoning Language Models
• Title（参考訳）: 共振型言語モデルのためのコンフォーマル予測型シーケンスレベルのポリシー最適化
• Abstract要約: GRPOのようなトークンレベルの手法では、クリッピングは個々のトークン比に作用し、報酬と利益は完全な応答に適用される。 最近のシークエンスレベルの手法はこれらの単位を整列するが、まだ固定されたクリッピングバンドを用いており、スコア分布が進化するにつれて尾の確率が変化する。 本稿では,近年のトレーニング統計を用いて,シーケンスレベルのクリッピング境界を適応的に校正するCSPO(Conformal Prediction-Enabled Sequence-level Policy Optimization)を提案する。
• 参考スコア（独自算出の注目度）: 4.961031152931553
• License:
• Abstract: Reinforcement learning improves the reasoning capability of large language models through verifiable rewards for mathematical and coding tasks. In token-level methods such as GRPO, clipping acts on individual token ratios while the reward and advantage apply to a complete response. Recent sequence-level methods align these units but still use fixed clipping bands, whose tail probabilities change as the score distribution evolves. We propose Conformal Prediction-Enabled Sequence-level Policy Optimization (CSPO), which adaptively calibrates sequence-level clipping bounds using recent training statistics. The resulting band targets a specified marginal tail budget and adapts to policy drift; calibration conditional on response length requires additional assumptions. We bound the probability that a fresh score falls outside the band by the target miscoverage level plus explicit CDF discrepancy and drift terms. Under additional moment conditions, this bound also controls the objective and gradient error relative to the unclipped GSPO power surrogate. Experiments with the Qwen3-1.7B series show improvements over GSPO on difficult mathematical reasoning benchmarks and ALFWorld, with clipping endpoints that adapt during training.
• Abstract（参考訳）: 強化学習は、数学およびコーディングタスクに対する検証可能な報酬によって、大きな言語モデルの推論能力を向上させる。 GRPOのようなトークンレベルの手法では、クリッピングは個々のトークン比に作用し、報酬と利益は完全な応答に適用される。 最近のシークエンスレベルの手法はこれらの単位を整列するが、まだ固定されたクリッピングバンドを用いており、スコア分布が進化するにつれて尾の確率が変化する。 本稿では,近年のトレーニング統計を用いて,シーケンスレベルのクリッピング境界を適応的に校正するCSPO(Conformal Prediction-Enabled Sequence-level Policy Optimization)を提案する。 得られた帯域は特定の限界尾の予算を目標とし、ポリシーのドリフトに適応する。 新たなスコアがバンドの外に落下する確率を、ターゲットの誤発見レベルと明示的なCDF差分とドリフト項によって制限する。 追加のモーメント条件の下では、この境界は未開のGSPOパワーサロゲートに対する客観的および勾配誤差も制御する。 Qwen3-1.7Bシリーズの実験では、難しい数学的推論ベンチマークとALFWorldでGSPOよりも改善され、トレーニング中に適応するクリップエンドポイントが提供されている。

関連論文リスト

• Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards [12.027556610163595]
  検証可能な報酬を伴う強化学習は、しばしば異なる、おそらく古い行動ポリシーによって生成された反応に基づいて言語モデルを訓練する。 我々は,同じプロンプトに対する応答において,KL-報酬の対数平均コントラストを最小化するGibs-Gap Policy Optimization (GGPO)を導入する。 我々は,Gibs-target合成による参照リフレッシュと,局所参照制御とトークンワイズ動作ミスマッチに縛られた有限データファイナルポリシー報酬を特徴付ける。
  論文  参考訳（メタデータ） (2026-10-14T18:59:29Z)
• ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning [53.48426046511836]
  検証可能な報酬(RLVR)からの強化学習は、複数のポリシー更新のロールアウトを頻繁に再利用する。 本稿では,クリッピングをスムーズな2分岐シーケンスレベルカーネルに置き換えるReSPO(Reshaped Sequence Policy Optimization)を提案する。 本研究では,ReSPO が早期訓練中に長い肯定的推論軌道から効果的に学習できることを実証する。
  論文  参考訳（メタデータ） (2026-09-28T15:38:29Z)
• Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
  大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
  論文  参考訳（メタデータ） (2026-04-15T15:35:42Z)
• Fair regression under localized demographic parity constraints [9.082079838093371]
  F f |S=s (z m ) = $ell$m という形の CDF 制約をグループ的に課する,新規な (ell$, Z)-fair predictor を導入する。 合成データセットと実データセットの実験では、解釈可能なフェアネス精度のトレードオフが示され、決定関連量子またはしきい値に対するターゲット修正が可能である。
  論文  参考訳（メタデータ） (2026-03-26T09:21:05Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• C$^2$GSPG: Confidence-calibrated Group Sequence Policy Gradient towards Self-aware Reasoning [54.705168477975384]
  推論モデル学習のためのグループシーケンスポリシーグラディエント(GSPG)フレームワーク。 C$2$GSPGは、自信過剰を抑えながら推論性能を同時に向上させる。
  論文  参考訳（メタデータ） (2025-09-27T05:24:51Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Adaptive Conformal Prediction by Reweighting Nonconformity Score [0.0]
  我々は、QRF(Quantile Regression Forest)を用いて、不整合スコアの分布を学習し、QRFの重みを利用して、テストポイントに類似した残差を持つサンプルにより重要度を割り当てる。 提案手法は,仮定のない有限標本境界範囲と訓練条件範囲を満足し,適切な仮定の下で条件付き範囲を確保できる。
  論文  参考訳（メタデータ） (2023-03-22T16:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。