論文の概要: Efficient RLVR Scheduling via Graph-Structured Online Difficulty Estimation
- arxiv url: http://arxiv.org/abs/2608.17941v1
- Date: Tue, 18 Aug 2026 16:01:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.395145
- Title: Efficient RLVR Scheduling via Graph-Structured Online Difficulty Estimation
- Title（参考訳）: グラフ構造化オンライン難易度推定による効率的なRLVRスケジューリング
- Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルの推論能力を向上させる。
関連サンプル間のロールアウトフィードバックを共有できるグラフベースのオンライン難易度推定器を提案する。
我々のフレームワークはサンプル選択とロールアウト・アロケーション・スケジューラに統合することができ、専用のプローブを使わずに、困難かつ適応的な探索を可能にする。
- 参考スコア（独自算出の注目度）: 31.644163847918495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models but relies on costly rollout exploration. Assigning the same exploration budget to samples with different difficulty levels is inefficient: easy samples may receive redundant rollouts, whereas difficult but learnable samples may receive too little exploration. Existing adaptive schedulers address this mismatch through curriculum-based sample selection or non-uniform rollout allocation based on estimated sample difficulty. However, obtaining reliable online difficulty estimates remains challenging: dedicated probing adds substantial generation overhead, whereas history-based estimators face a cold start with no initial observations and stale feedback, and typically ignore relations among samples. To address these limitations, we propose a plug-and-play graph-based online difficulty estimator that shares rollout feedback across related samples and continuously updates their difficulty estimates, mitigating cold start and staleness without dedicated probing. Specifically, we first construct a difficulty-aware sample graph based on semantic and reasoning similarities. Based on this graph, we introduce latent difficulty states and use a Potts prior to encourage neighboring samples to share the same state. We then employ a state-level Beta-Binomial model to aggregate the rollout outcomes associated with each state. Finally, we use an online mean-field variational algorithm to continuously update the latent-state assignments and state-level difficulty as new feedback arrives. Our framework can be integrated into sample-selection and rollout-allocation schedulers, enabling difficulty-adaptive exploration without dedicated probing. Experiments across multiple base models, RL schedulers, and benchmarks demonstrate that our framework achieves better performance.
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルの推論能力を改善するが、コストのかかるロールアウト探索に依存している。
難易度が異なるサンプルに同じ調査予算を割り当てることは非効率である: 簡単なサンプルは冗長なロールアウトを受けるが、難しいが学習可能なサンプルは少ない探索を受ける。
既存の適応型スケジューラは、このミスマッチをカリキュラムベースのサンプル選択や、推定されたサンプル難易度に基づいて一様でないロールアウトアロケーションによって解決する。
しかし、信頼性の高いオンラインの難易度推定値を取得することは依然として困難であり、専用の調査ではかなりの生成オーバーヘッドが生じる一方、履歴ベースの推定器は初期観測や古いフィードバックを伴わず、典型的にはサンプル間の関係を無視する。
これらの制約に対処するため、プラグアンドプレイのグラフベースのオンライン難易度推定器を提案し、関連するサンプル間のロールアウトフィードバックを共有し、それらの難易度推定を継続的に更新する。
具体的には、まず、意味的類似性と推論的類似性に基づいて、難易度を考慮したサンプルグラフを構築する。
このグラフに基づいて、潜伏困難状態を導入し、近隣のサンプルに同じ状態を共有するよう促すためにPottsを使用する。
次に、各状態に関連するロールアウト結果を集約するために、状態レベルのベータビノミカルモデルを使用します。
最後に、オンライン平均場変動アルゴリズムを用いて、新しいフィードバックが到着するにつれて、潜在状態の割り当てと状態レベルの困難を継続的に更新する。
我々のフレームワークはサンプル選択とロールアウト・アロケーション・スケジューラに統合することができ、専用のプローブを使わずに、困難かつ適応的な探索を可能にする。
複数のベースモデル、RLスケジューラ、ベンチマークの実験は、我々のフレームワークがより良いパフォーマンスを達成することを示す。
関連論文リスト
- Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。
LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
論文 参考訳（メタデータ） (2026-06-15T03:17:44Z) - Breaking the Pre-Sampling Barrier: Activation-Informed Difficulty-Aware Self-Consistency [10.079669716138763]
自己整合性(英: Self-Consistency, SC)は、大規模言語モデル(LLM)の推論性能を改善する効果的な復号化戦略である。
大量のサンプルを必要とするため、かなりの推論コストに悩まされる。
これらの制約に対処するために,アクティベーション・インフォームド・ディフルティ・アウェア・セルフ一貫性(ACTSC)を提案する。
論文 参考訳（メタデータ） (2026-02-10T06:05:11Z) - VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。
グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。
textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
論文 参考訳（メタデータ） (2025-11-24T08:59:54Z) - Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。
本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
論文 参考訳（メタデータ） (2025-07-13T19:36:17Z) - TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。
最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。
視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
論文 参考訳（メタデータ） (2025-05-27T06:30:48Z) - Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。
本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。
1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
論文 参考訳（メタデータ） (2024-02-19T07:15:59Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Split-PU: Hardness-aware Training Strategy for Positive-Unlabeled
Learning [42.26185670834855]
Positive-Unlabeled (PU) 学習は、稀な正のサンプルと豊富な未ラベルサンプルを持つモデルを学ぶことを目的としている。
本稿では、新しいトレーニングパイプラインを用いて、一般的に使われているnnPUの改善に焦点を当てる。
論文 参考訳（メタデータ） (2022-11-30T05:48:31Z) - ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。
我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
論文 参考訳（メタデータ） (2022-11-21T13:23:09Z) - Hardness of Samples Need to be Quantified for a Reliable Evaluation
System: Exploring Potential Opportunities with a New Task [24.6240575061124]
ベンチマーク上のモデルの評価は、サンプル硬さの程度を知らずに信頼性が低い。
我々は,0から1のスコアのベンチマークにおいて,各未注釈サンプルの割り当てを必要とするData Scoringタスクを提案する。
論文 参考訳（メタデータ） (2022-10-14T08:26:32Z) - DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples
Discrimination [28.599571524763785]
ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。
この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
論文 参考訳（メタデータ） (2022-08-21T13:38:55Z) - On Covariate Shift of Latent Confounders in Imitation and Reinforcement
Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。
我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。
我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文 参考訳（メタデータ） (2021-10-13T07:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。