論文の概要: FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training

• arxiv url: http://arxiv.org/abs/2610.02828v1
• Date: Fri, 02 Oct 2026 05:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.217191
• Title: FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
• Title（参考訳）: FSPO: 予算付LLM RL後試験における政策整合リスクとパレート・フェーザブル制御
• Abstract要約: 予算付きLLM RLポストトレーニングのためのフィードバック状態制御系FSPOを紹介する。 ベルマンが将来の決定に使用するのと同じフリーズコントローラを目標とする、ポリシー一貫性のあるリスク・ツー・ゴーモデルを学ぶ。 3組の訓練種子は、保持およびOOD評価の文脈的包帯に対して+2.42と+3.19の利得を与える。
• 参考スコア（独自算出の注目度）: 22.731514214998185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive LLM reinforcement-learning post-training changes multiple training actuators online, including rollout temperature, group size, clipping, KL regularization, verifier allocation, and update budget. Three coupled issues remain unresolved. A future-risk model trained from behavior trajectories need not estimate the risk induced by the controller that will be deployed; a score calibrated on logged state-action pairs can become miscalibrated after selective action choice; and independent per-resource minimum costs do not in general certify a feasible multi-resource continuation. We introduce FSPO, a feedback-state controller for budgeted LLM RL post-training that addresses these issues jointly. FSPO learns a policy-consistent risk-to-go model whose Bellman target follows the same frozen controller used for future decisions, together with a long-horizon utility model. Decision-conditioned trajectory calibration (DCTC) calibrates risk on cross-fitted trajectories generated by actions selected by provisional controllers. A Pareto resource continuation certificate (PRCC) admits an action only when a non-dominated cumulative reservation remains feasible over the residual horizon. Under a matched GRPO resource envelope, FSPO reaches 66.11% held-out and 59.43% OOD accuracy, compared with 64.47% and 57.03% for PB2, the strongest evaluated adaptive baseline. Three paired training seeds give gains of +2.42 and +3.19 percentage points over the contextual bandit on held-out and OOD evaluation. Under high behavior-deployment mismatch, policy-consistent risk lowers selected-decision ECE from 0.108 to 0.053; DCTC lowers it from 0.039 to 0.022 at matched acceptance; PRCC removes false-feasible admissions on an 18-action catalog ($0.197\rightarrow0.000$); and enabling all three components reduces trajectory failure from 0.181 to 0.083 in a factorial ablation.
• Abstract（参考訳）: 適応LDM強化学習後トレーニングでは、ロールアウト温度、グループサイズ、クリップング、KL正規化、検証器割り当て、更新予算など、複数のトレーニングアクチュエータをオンラインで変更する。 3つの問題が未解決のままである。 動作軌跡から訓練された将来のリスクモデルでは、デプロイされるコントローラによって引き起こされるリスクを見積もる必要はなく、ログ化された状態-アクションペアに調整されたスコアは、選択されたアクション選択後に誤判定される可能性がある。 本稿では,これらの問題に共同で対処するLPM RLポストトレーニングのためのフィードバック状態制御系FSPOを紹介する。 FSPOは、ベルマンが将来の決定に使用するのと同じフリーズコントローラに従うようなポリシー一貫性のあるリスク・ツー・ゴーモデルと、長期のユーティリティモデルを学ぶ。 決定条件付き軌道校正(DCTC)は、暫定制御装置によって選択された動作によって生成されるクロスフィット軌道のリスクを校正する。 パレート資源継続証明書(PRCC)は、非支配的な累積予約が残留地平線上で実行可能である場合にのみ、アクションを認める。 一致したGRPOリソースエンベロープでは、FSPOは66.11%、OOD精度は59.43%に達し、PB2は64.47%、57.03%となった。 3組の訓練種子は、保持およびOOD評価の文脈的包帯に対して+2.42と+3.19の利得を与える。 行動デプロイミスマッチでは、ポリシー一貫性のあるリスクは選択決定ECEを0.108から0.053に下げ、DCTCは、一致した受け入れで0.039から0.022に下げ、PRCCは18のアクションカタログ(0.197\rightarrow0.000$)の偽ファシブルインプットを除去し、すべての3つのコンポーネントが、ファクターアブレーションにおける軌道障害を0.181から0.083に減少させる。

関連論文リスト

• Contingent Exposure Routing for Financial AI: Outage Risk and the Cost of Indivisible Decisions [2.731113456484581]
  我々は、局所的な市場影響応答行列を経由する障害コンテンツルーティングを定式化する。 プライマリエンドポイントの数が増加するにつれて,共有バックアップがオーダーワン濃度のフロアを離れることが示される。 このコントリビューションは、実市場のクラッシュ確率を見積もるものではなく、監査可能なルーティングストレステストと劣った実装分析である。
  論文  参考訳（メタデータ） (2026-09-23T06:56:27Z)
• DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
  ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。 直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。 メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
  論文  参考訳（メタデータ） (2026-09-23T03:06:01Z)
• Adaptive Finite-Budget Training for CVaR Risk-Aware Q-Learning [7.373349445059511]
  リスク対応Q-ラーニング(RaQL)は、動的リスク目標に対するモデルフリーで2時間スケールの推定手段を提供する。 本稿では,CVaR(Conditional Value-at-Risk) RaQLの適応型トレーニングコントローラを提案し,これを日々のBitcoin取引タスクで評価する。
  論文  参考訳（メタデータ） (2026-08-05T00:26:22Z)
• When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation [0.11280931253550518]
  構造化世代 (NER, 抽出, QA, 分類) にデプロイされる大規模言語モデル (LLM) には、正式な信頼性保証がない。 我々は、共形リスク制御(CRC)が構造化LLM出力を証明でき、かつ、それが証明不可能な場合に特徴付ける。
  論文  参考訳（メタデータ） (2026-06-27T19:25:07Z)
• Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
  Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。 実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。 12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
  論文  参考訳（メタデータ） (2026-05-11T23:55:15Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Quantifying Return on Security Controls in LLM Systems [0.0]
  本稿では、残留リスクを定量化するための意思決定指向フレームワークを提案する。 敵のプローブの結果を金融リスク推定と戻り制御の指標に変換する。
  論文  参考訳（メタデータ） (2025-12-17T04:58:09Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。