論文の概要: DataFlex-RL: An Evaluation Platform for RLVR Data Policies

• arxiv url: http://arxiv.org/abs/2609.06107v1
• Date: Sat, 05 Sep 2026 14:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.204176
• Title: DataFlex-RL: An Evaluation Platform for RLVR Data Policies
• Title（参考訳）: DataFlex-RL: RLVRデータポリシーの評価プラットフォーム
• Abstract要約: 検証可能な報酬を伴う強化学習のためのデータポリシーは、どのロールアウトが使用されるか、どれくらい重み付けされているか、どのドメインがその後のトレーニングバッチに寄与するかを決定する。 我々は、共通のGRPOレシピの下でこれらの選択を比較するための評価プラットフォームであるDataFlex-RLを紹介します。 Qwen2.5-7B-Base と 12 の数学,論理,科学ベンチマークを用いて,12 個のマッチした種子の13 個の構成を評価した。
• 参考スコア（独自算出の注目度）: 11.073211317719393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data policies for reinforcement learning with verifiable rewards (RLVR) determine which rollouts are used, how strongly they are weighted, and which domains contribute to subsequent training batches. We introduce DataFlex-RL, an evaluation platform for comparing these choices under a common GRPO recipe. Our primary experiment evaluates 13 configurations across 12 matched seeds using Qwen2.5-7B-Base and 12 mathematics, logic, and science benchmarks. Uniform GRPO improves the domain-balanced average accuracy by 7.76 percentage points over the untrained checkpoint. None of the eight rollout-selection or reweighting methods achieves a paired 95% confidence interval that excludes zero relative to uniform sampling, and none of the three adaptive mixtures outperforms a fixed equal mixture at the same level of precision. A corrected 12-seed extension on Llama-3.1-8B-Base places the additional methods on the same score scale as the original controls, but does not reveal a consistent winner in terms of observed mean performance. We also quantify evaluation sensitivity by rescoring nine Qwen2.5-7B-Instruct runs using a math-heavy six-benchmark summary, consisting of five mathematics benchmarks and GPQA-Diamond but no logic benchmark, and comparing it with the domain-balanced 12-benchmark summary. The resulting rankings are negatively correlated, with a correlation coefficient of -0.33, whereas summaries that retain all 12 benchmarks largely agree. Across the controlled settings studied here, changing the data policy measurably changes the training process but does not produce a reproducible improvement over uniform training.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習のためのデータポリシーは、どのロールアウトが使用されるか、どれくらい重み付けされているか、どのドメインがその後のトレーニングバッチに寄与するかを決定する。 我々は、共通のGRPOレシピの下でこれらの選択を比較するための評価プラットフォームであるDataFlex-RLを紹介します。 Qwen2.5-7B-Base と 12 の数学,論理,科学ベンチマークを用いて,12 個のマッチした種子の13 個の構成を評価した。 一様GRPOは、トレーニングされていないチェックポイントに対して、ドメインバランスの平均精度を7.76ポイント改善する。 8つのロールアウト選択法または再重み付け法は、一様サンプリングに対するゼロを除いた95%の信頼区間を達成することができず、3つのアダプティブ混合物はいずれも同じ精度のレベルで一定の混合物よりも優れている。 Llama-3.1-8B-Baseの修正された12シード拡張は、追加のメソッドを元のコントロールと同じスコアスケールに配置するが、平均的なパフォーマンスの点で一貫した勝者は明らかにしない。 また,9つのQwen2.5-7B-インストラクタを5つの数学ベンチマークとGPQA-ダイアモンドからなる6ベンチマークの要約を用いて再現し,論理ベンチマークを伴わず,ドメインバランスの12ベンチマークの要約と比較することにより評価感度を定量化する。 結果のランクには負の相関関係があり、相関係数は-0.33である。 ここで研究した制御された設定全体にわたって、データポリシーを変更してトレーニングプロセスは測定可能に変更するが、均一なトレーニングよりも再現性のある改善は得られない。

関連論文リスト

• LoRA Fine-Tuned Models for Control Systems Course Q\&A: A Multidimensional Evaluation of Model Scale and Rank Effects [12.865623591533456]
  大型言語モデル (LLMs) は専門の大学コースでの利用が増えている。 直接的な汎用応答は、一貫性のない構造であり、検証が困難である。 我々は360度システム・ユーザ・アシスタント・会話の教師付き微調整データセットを構築した。
  論文  参考訳（メタデータ） (2026-09-12T13:04:04Z)
• CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation [49.0564416580726]
  我々は,クロスアテンティブ・リランカの組成判断を埋め込みモデルに蒸留する。 我々は,CORE-RERANKER-8Bが平均82.7%を達成し,Janna-Rerankerを10.7ポイント上回ったことを示す。 改良はCOCOとFlickr30Kでの検索性能を犠牲にすることなくMCMRベンチマークに転送される。
  論文  参考訳（メタデータ） (2026-09-03T16:50:29Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Recursive Agentic Reasoning [4.7490116928645065]
  反復精製、分解、繰り返しサンプリングといったテスト時間推論手法は、しばしば分離して評価される。 エージェントの推論トレース上の再帰演算子として,これらの手法の統一ビューを導入する。 同一のプロンプト、トークン予算、グレーディングコードを持つ共有ハーネスの下で、3つの演算子全てをシングルパスチェーン・オブ・ソートベースラインに対して評価する。
  論文  参考訳（メタデータ） (2026-08-25T01:34:08Z)
• UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation [0.0]
  UpliftBenchは、外部テストで分離された多目的プロトコルの下で、12のアップリフト推定器を評価する。 この意見の相違は、モデルではなくメトリクスに関するものだと示しています。
  論文  参考訳（メタデータ） (2026-08-02T00:51:44Z)
• A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs [3.4007995136788]
  レイヤコントラスト復号、推論時間介入、学習ロジットアダプタは、TrathfulQAで10～30ポイントのゲインを示した。 現代の命令調整型LLMは、既にかなり高いベースラインを実現している。 熟考的推進法は、評価体制においてより堅牢であるように見える。
  論文  参考訳（メタデータ） (2026-06-10T14:48:05Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• AIS: Adaptive Importance Sampling for Quantized RL [21.387834718338496]
  大規模言語モデル(LLM)の強化学習はロールアウト生成のコストに支配されている。 これは、ロールアウトトレーニングミスマッチを導入し、ポリシー勾配を偏り、推論ベンチマークでトレーニングが完全に崩壊する可能性がある。 このミスマッチは非定常的であり、二重刃の剣として機能し、初期のトレーニングでは探索ボーナスを提供し、トレーナーがアンダーサンプするトラジェクトリーへの勾配を露呈する。 本稿では,適応的重要度サンプリング(AIS)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T03:36:57Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Bit-Identical Medical Deep Learning via Structured Orthogonal Initialization [0.0]
  深層学習トレーニングは非決定論的であり、異なるランダムなシードを持つ同一のコードは、集約メトリクスに異を唱えるが個々の予測に異を唱えるモデルを生成する。 ランダム性の3つの源を除去する検証ビット識別訓練の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-30T05:04:57Z)
• Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
  3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。 数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。 本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2026-01-07T14:59:03Z)
• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。