論文の概要: Conformal Selective Acting: Anytime-Valid Risk Control for RLVR-Trained LLMs
- arxiv url: http://arxiv.org/abs/2605.20270v1
- Date: Mon, 18 May 2026 22:20:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.254857
- Title: Conformal Selective Acting: Anytime-Valid Risk Control for RLVR-Trained LLMs
- Title（参考訳）: コンフォーマル・セレクティブ・アクティベーション:RLVR-Trained LLMの任意のValidリスク制御
- Authors: Hamed Khosravi, Xiaoming Huo,
- Abstract要約: Conformal Selective Actingは、デプロイ要求によって強制される空のセルを埋める。
CSAは、すべての細胞に経路的妥当性と非抵抗的展開を満足する10種類の比較のうち唯一の方法である。
- 参考スコア（独自算出の注目度）: 13.385373310554327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A local specialist LLM, fine-tuned with reinforcement learning from verifiable rewards (RLVR) on operator-local data, is installed in a regulated organization with per-deployment error budget $α$. The operator needs a safety certificate for this deployment's stream at every round: no pooling across deployments, no waiting for a long-run average. Existing wrappers cannot deliver this on adaptive, online-updated streams: offline conformal-risk methods require exchangeability; online-conformal methods bound only long-run averages; non-exchangeable extensions are marginally valid; and the closest anytime wrapper, A-RCPS, controls marginal rather than selective risk. Using a (test statistic, validity guarantee, deployment rule) framework, we identify one empty cell forced by deployment requirements: e-process per threshold, selective risk, anytime-pathwise validity, max-certified-threshold rule. Conformal Selective Acting (CSA) fills it as a per-round wrapper maintaining a Ville-type e-process per threshold on a Bonferroni grid, evaluated against the RLVR filtration. Under predictable updates and isotonic-calibrated monotone risk we prove (i) an anytime-pathwise selective-risk bound $R_T^{\mathrm{act}}\leα+O(N_T^{-1/2})$, (ii) rate-optimal certification matching $Θ(\barη^{-2}\log(1/δ))$, and (iii) a horizon-independent release-rate gap. Across eight specialist benchmarks ($480$ streams), sixteen adversarial distribution-shift cells ($160$ streams), and five live Expert-Iteration RLVR cells with online LoRA over four base models in three architecture families ($10{,}300$ rounds), CSA is the only method among ten compared that satisfies pathwise validity and non-refusing deployment on every cell. We do not propose a new LLM, training algorithm, or policy class; CSA is the deployment-side complement, orthogonal to the model, for operators who cannot use a frontier API.
- Abstract（参考訳）: オペレータローカルデータ上で検証可能な報酬(RLVR)から強化学習を施したローカルスペシャリストのLSMは、デプロイ毎のエラー予算がαドルである規制組織に設置されている。
オペレータは、このデプロイメントストリームの安全証明書を、各ラウンドで必要とします。
既存のラッパーは、適応的なオンライン更新ストリームでは提供できない: オフラインのコンフォーマルリスクメソッドは、交換可能性を必要とし、オンラインコンフォーマルメソッドは、長期平均だけに縛られ、非交換可能拡張は、極端に有効であり、最も近い時限ラッパーであるA-RCPSは、選択リスクではなく、限界値を制御する。
テスト統計,妥当性保証,デプロイメントルール) フレームワークを用いて,デプロイ要求によって強制される1つの空のセルを識別する。
Conformal Selective Acting (CSA)は、RLVR濾過に対して評価されたボンフェロニ格子上のしきい値あたりのVille型e-プロセスを維持するラウンドごとのラッパーとして、それを充填する。
予測可能な更新と等速キャリブレーションによるモノトンリスクの証明
(i) 時相選択リスク付き$R_T^{\mathrm{act}}\leα+O(N_T^{-1/2})$,
(ii)=(\barη^{-2}\log(1/δ))$、および
(iii)地平線に依存しないリリースレートギャップ。
8つのスペシャリストベンチマーク(480ドルストリーム)、16の逆分布シフトセル(160ドルストリーム)、5つのライブ専門家Iteration RLVRセルとオンラインLoRAが3つのアーキテクチャファミリの4つのベースモデル(10{,}300$ラウンド)にまたがる。
CSAは、フロンティアAPIを使用できない演算子に対して、モデルに直交する配置側補完であり、新しいLLM、トレーニングアルゴリズム、ポリシークラスは提案しない。
関連論文リスト
- Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。
実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。
12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
論文 参考訳（メタデータ） (2026-05-11T23:55:15Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳（メタデータ） (2026-05-11T03:15:37Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs [19.079556051442168]
強化学習(Reinforcement Learning, RL)は、推論タスクにおける大規模言語モデルの改善に広く用いられている。
しかし、REINFORCE や GRPO のような広く採用されている批判のない政策段階的手法では、高い非同期性によって政策段階的推定器は明らかにノイズを生じさせる。
本稿では,REINFORCE/GRPOスタイルのアルゴリズムの安定化手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T18:40:51Z) - Conditional Sequence Modeling for Safe Reinforcement Learning [8.858563919623082]
オフライン安全な強化学習は、固定データセットからポリシーを学習し、累積コスト制約下でのパフォーマンスを最大化することを目的としている。
既存のオフラインセーフなRLメソッドの多くは、あらかじめ指定されたしきい値の下で訓練されている。
CSMをベースとしたRCDTは,複数のコストしきい値にまたがるゼロショット展開をサポートする。
論文 参考訳（メタデータ） (2026-02-09T12:22:57Z) - RAMAC: Multimodal Risk-Aware Offline Reinforcement Learning and the Role of Behavior Regularization [1.593065406609169]
安全クリティカルな領域では、オフライン強化学習は魅力的な代替手段を提供するが、政策が破滅的な下尾リスクを伴わずに高いリターンをもたらす場合のみである。
本稿では,bfRisk-Aware Multimodal Actor-Critic (RAMAC)フレームワークを紹介する。
拡散およびフローマッチングアクターでRAMACをインスタンス化し、ほとんどのD4タスクで強いリターンを維持しながら、$mathrmaR_0.1$で一貫した利得を観察する。
論文 参考訳（メタデータ） (2025-10-03T03:22:21Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Efficiently Deploying LLMs with Controlled Risk [0.9208007322096532]
モデル内不確実性を利用してクエリをデリゲートする,階層型連鎖とマルチレベルアプテンション(HCMA)を提案する。
我々の枠組みは、効率とリスクの間に新たなトレードオフをもたらす。
論文 参考訳（メタデータ） (2024-10-03T03:25:56Z) - Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing [87.48628403354351]
機械学習の認証は、特定の条件下では、敵対的なサンプルが特定の範囲内でモデルを回避できないことを証明している。
セグメンテーションの一般的な認証方法は、平らな粒度のクラスを使い、モデルの不確実性による高い断続率をもたらす。
本稿では,複数レベルの階層内で画素を認証し,不安定なコンポーネントに対して粗いレベルに適応的に認証を緩和する,新しい,より実用的な設定を提案する。
論文 参考訳（メタデータ） (2024-02-13T11:59:43Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳（メタデータ） (2023-04-26T15:54:23Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T05:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。