論文の概要: FADE: Factored Ability--Difficulty Filtering for Online RLVR Scheduling

• arxiv url: http://arxiv.org/abs/2611.03625v2
• Date: Wed, 04 Nov 2026 21:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.338319
• Title: FADE: Factored Ability--Difficulty Filtering for Online RLVR Scheduling
• Title（参考訳）: FADE:オンラインRLVRスケジューリングにおけるFacted Ability--Difficulty Filtering
• Abstract要約: 検証可能な報酬を持つグループベースの強化学習は、サンプル化された完了が一致しないプロンプトからのみ学習する。 FADEは、各プロンプトの成功ロジットを、高速ドリフトポリシー能力ベクトルを備えた$K$次元スキルローディングの内部積として表現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-based reinforcement learning with verifiable rewards (RLVR) learns only from prompts whose sampled completions disagree: all-pass and all-fail groups produce zero relative advantage and burn generation budget without moving the policy. Adaptive schedulers try to steer rollouts toward informative prompts, yet they rely on per-prompt pass-rate trackers that entangle two quantities evolving at very different speeds---the policy's shifting competence across reasoning skills and each prompt's intrinsic difficulty. When a single exponential average or Beta counter tracks both at once, short memory scrambles the relative ordering of prompts whereas long memory reports stale pass rates. We introduce FADE (Factored Ability--Difficulty Estimation), a bilinear state-space filter that separates the two timescales. FADE represents each prompt's success logit as the inner product of a whitened $K$-dimensional skill loading with a fast-drifting policy ability vector, minus a slow-shrinking scalar item intercept. Using Pólya--Gamma augmentation, each minibatch of binary rollout outcomes updates the $K$-dimensional ability posterior in closed form via a rank-$K$ Woodbury step, instantly transferring competence shifts to all unobserved prompts that share those skills while leaving item intercepts stable. From the resulting posterior mean and variance we derive a closed-form utility for the probability of drawing a non-degenerate rollout group. Across five reasoning benchmarks, two base models, and four scheduling paradigms under a matched rollout budget, FADE consistently improves downstream accuracy and calibration while adding less than $0.6$\,ms per step.
• Abstract（参考訳）: 検証可能な報酬付きグループベース強化学習(RLVR)は、全パス群と全フェイル群が政策を移動させることなく相対的な優位性とバーンジェネレーション予算を生み出すという、サンプルの完了が一致しないプロンプトからのみ学習する。 アダプティブスケジューラは、インフォメーションプロンプトに向けてロールアウトを推し進めようとするが、彼らは、非常に異なる速度で進化する2つの量と、各プロンプト固有の難易度をまたがるポリシーのシフト能力に頼っている。単一の指数平均またはベータカウンタが一度にトラックすると、短いメモリがプロンプトの相対的な順序を乱し、長いメモリレポートはステールパスレートを安定させる。FADE(Factored Ability-Difficulty Estimation)は、2つのタイムスケールを分離する双線形状態空間フィルタである。 FADEは、各プロンプトの成功ロジットを、高速ドリフトポリシー能力ベクターを備えたホワイトカラーのK$Dスキルローディングの内部積として表現し、スカラーアイテムインターセプトを小さくする。 Pólya-Gamma augmentation を用いて、各バイナリロールアウト結果のミニバッチは、ランク-K$Woodbury ステップを介してクローズドフォームで$K$次元の能力を更新し、アイテムインターセプトを安定させながら、それらのスキルを共有するすべての未観測プロンプトにコンピテンスシフトを即時に転送する。 結果の後方平均と分散から、非退化ロールアウト群を描画する確率に対する閉形式効用を導出する。 5つの推論ベンチマーク、2つのベースモデル、4つのスケジューリングパラダイムが一致したロールアウト予算の下で、FADEは継続的に下流の精度とキャリブレーションを改善し、ステップ当たり0.6$\,ms未満の追加を行った。

関連論文リスト

• When to Ask for Help: A Decision-Theoretic Account and Measurement Standard for Slow-Module Scheduling in Dual-System Vision-Language-Action Models [3.684249593489113]
  我々は、固定言語、固定予算、履歴付きスケジュールが1つの量の縮退したケースである介入の値(VoI)の校正決定問題として呼び出しを形式化する。 測定されたシステムは、$$の3桁の範囲で、直接テストは$$の低い予測を確認する。 LIBERO-SpatialとLIBERO-Goalでは、リライトの欠陥が13点から42点まで深くなっています。
  論文  参考訳（メタデータ） (2026-10-15T03:20:54Z)
• Early Verdicts, Better Budgets: Sequential Adaptive Rollout Allocation for Compute-Efficient RLVR [0.0]
  グループの有効性は、ロールアウトの最初の数回で決定されることが多いので、すでに決定済みのプロンプトに全グループで費やすのは無駄です。 有効なグループをコミットし、短時間の調査で飽和したグループを放棄し、新しいプロンプトに解放された予算を再配置する、二段階のSPRT方式のルールを適用した。 我々は, 放棄信頼性, ロールアウト削減, 固定予算利回り支配, 有効群収率とGRPO基準との関係を証明した。
  論文  参考訳（メタデータ） (2026-07-28T20:43:23Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Cross-Epoch Adaptive Rollout Optimization for RL Post-Training [5.459625245330074]
  LLMポストトレーニングは、しばしばプロンプト毎に複数のロールアウトをサンプリングする強化学習手法に依存している。 既存のほとんどのアプローチでは、トレーニング信号に大きな違いがあるにも関わらず、すべてのプロンプトに対して固定的なロールアウト予算を使用している。 我々は、固定されたグローバル予算の下でのアダプティブ・ロールアウト・アロケーションについて検討し、即時還元リターンを伴うオンラインリソースアロケーションとして問題を定式化する。
  論文  参考訳（メタデータ） (2026-06-04T02:27:51Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR [78.88799271719365]
  本稿では,オンラインロールアウトプルーニング手法であるarrol(オンラインロールアウトプルーニングによるRLVRの高速化)を紹介する。 Arrolは軽量なクオリティヘッドをオンザフライでトレーニングし、部分的なロールアウトの成功確率を予測する。 Qwen-3とLLaMA-3.2のGRPOとDAPO全体で、アロールは平均精度を+2.30から+2.99に改善し、最大1.7倍のトレーニングスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-03-25T22:10:36Z)
• Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs [2.125148574616104]
  大規模言語モデル(LLM)は、しばしば同じプロンプトの異なる言い回しに直面したときに矛盾する答えを生成する。 Flip-Flop Consistency(F2C$)を提案する。 提案手法は4つのNLPタスクにまたがる11のデータセットに対して,データセット毎に4～15のばらつきが生じる。
  論文  参考訳（メタデータ） (2025-10-16T02:54:01Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。