論文の概要: Trading Human Curation for Synthetic Augmentation in RLVR

• arxiv url: http://arxiv.org/abs/2606.03800v1
• Date: Tue, 02 Jun 2026 15:48:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.123528
• Title: Trading Human Curation for Synthetic Augmentation in RLVR
• Title（参考訳）: RLVRにおける合成増強のためのトレーディングヒューマンキュレーション
• Abstract要約: 高品質な訓練タスクの供給は、強化学習における中心的なボトルネックである。 我々は、拡張されたタスクと人為的なタスクの間のコスト調整されたトレーディングレートを$_textcost$に定式化する。 追加のヒューマンオーサリングタスクのための拡張コンテンツの置換は、集約された一般化を保持します。
• 参考スコア（独自算出の注目度）: 1.6792717940921005
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The supply of high-quality training tasks is a central bottleneck for reinforcement learning from verifiable rewards (RLVR) on agentic language models. Each task requires a sandboxed setup, a prompt, and a hand-authored reward function, and only tasks that pass a quality bar produce useful training signal. Hand-curation at this quality bar does not scale economically to the task counts effective RL training requires, and the substitution rate between automatically generated task variants and human-authored ones is not yet established. We investigate using pre-specified, gate-filtered augmentations of a small hand-authored base as a substitute for additional human curation during RLVR. We formalize the cost-adjusted trade rate $ρ_{\text{cost}}$ between augmented and human-authored tasks, measure it through a controlled ablation across training corpora with varying augmentation share, and characterize the end-to-end economics of the augmentation pipeline. Substituting augmented content for additional human-authored tasks retains aggregate held-out generalization on a ten-benchmark suite spanning code, instruction following, reasoning, and multi-turn agentic function-calling. The cost-adjusted trade rate $ρ_{\text{cost}}$ between gated synthetic and human-authored RLVR tasks stays in $[1.4\times, 11.6\times]$ across the plausible $c_{\text{human}}/c_{\text{aug}}$ range.
• Abstract（参考訳）: 高品質なトレーニングタスクの供給は、エージェント言語モデル上で検証可能な報酬(RLVR)から強化学習を行う上で、中心的なボトルネックとなっている。 各タスクはサンドボックス化されたセットアップ、プロンプト、手書きの報酬関数を必要とし、品質バーを通過するタスクだけが有用なトレーニング信号を生成する。 この品質バーでのハンドカレーションは、効果的なRLトレーニングに必要なタスク数に経済的にスケールせず、自動生成されたタスク変種と人為的なタスク間の置換率がまだ確立されていない。 RLVRにおける人為的治療の代替として,手書き手書き手による手書き手書き手による手書き手書き手書き手による手書き手書き手による手書き手書き手書き手書き手書き手書きによる手書き手書き手書き手書き手書きによる手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き手書き 我々は、強化されたタスクと人為的なタスクの間のコスト調整されたトレーディングレート$ρ_{\text{cost}}$を形式化し、増分シェアの異なるトレーニングコーパス間の制御されたアブレーションを通じてそれを測定し、増分パイプラインのエンドツーエンド経済性を特徴づける。 追加のヒューマンオーサリングタスクのための拡張コンテンツの置換は、コード、命令フォロー、推論、マルチターンエージェント関数呼び出しにまたがる10ベンチマークスイートの集約的な一般化を保っている。 コスト調整されたトレーディングレート $ρ_{\text{cost}}$ ゲート付き合成タスクと人間によるRLVRタスクの間は、$[1.4\times, 11.6\times]$ プラウチブル $c_{\text{human}}/c_{\text{aug}}$ 範囲を越えて、$[1.4\times, 11.6\times]$ が残る。

関連論文リスト

• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• HELP: Human-Efficient Large-Scale Robot Post-Training with Rollout Segmentation [24.40844636932594]
  HELPは、人間の効率の良い大規模ロボットのポストトレーニングパイプラインである。 2つの特殊オペレーターが同時に12のロボットを監督します。 HELPは80%-95%の成功率を獲得し、タスクのスループットを1.7$times$--4.2$times$で改善する。
  論文  参考訳（メタデータ） (2026-07-08T03:03:38Z)
• A Regret Minimization Framework on Preference Learning in Large Language Models [33.19510618137341]
  検証可能な報酬による強化学習は、タスク固有の検証に頼って推論集約的なタスクの進行を可能にした。 多くの現実的な言語タスクは信頼性の高い検証器を装備することは困難であり、人間のフィードバックからの強化学習への依存度が高まっている。 本稿では、RegretベースのPreference Optimization $(textbfRePO)$を紹介します。
  論文  参考訳（メタデータ） (2026-06-08T07:18:44Z)
• The Last Harness You'll Ever Build [9.741938550862034]
  AIエージェントは、複雑でドメイン固有のアプリケーションにますますデプロイされる。 我々は、ハーネスエンジニアリングプロセスを自動化する2段階のフレームワークを提案する。 メタラーニングへの対応を形式化し、両方のアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2026-04-22T18:51:48Z)
• The Novelty Bottleneck: A Framework for Understanding Human Effort Scaling in AI-Assisted Work [4.726153739634646]
  新規性ボトルネックと呼ばれるメカニズムを分離した人間とAIのコラボレーションモデルを提案する。 モデルはタスクが原子的な決定に分解されると仮定する。 私たちの貢献は、人間の努力が線形にスケールしなければならないという証拠ではありません。
  論文  参考訳（メタデータ） (2026-03-28T22:50:13Z)
• Operator Learning Using Weak Supervision from Walk-on-Spheres [81.26322147849918]
  トレーニング型PDEソルバは、高価なデータ生成や不安定な物理インフォームドニューラルネットワーク(PINN)によってボトルネックされることが多い モンテカルロ法を用いてPDEの解をトレーニング中の弱監督過程として推定する手法を提案する。
  論文  参考訳（メタデータ） (2026-03-01T17:23:39Z)
• RLAR: An Agentic Reward System for Multi-task Reinforcement Learning on Large Language Models [86.61108562387993]
  RLAR(Reinforcement Learning from Agent Rewards)はエージェント駆動のフレームワークで、個別のクエリに動的に調整された報酬関数を割り当てる。 RLARは, 数学, コーディング, 翻訳, 対話タスクにおける10から60までの連続的な性能向上を示す。
  論文  参考訳（メタデータ） (2026-02-28T16:14:43Z)
• Dynamic Layer Tying for Parameter-Efficient Transformers [65.268245109828]
  トレーニング中にレイヤを選択し、それらを結びつけるために強化学習を採用しています。 これにより、重量共有が容易になり、トレーニング可能なパラメータの数を減らし、効果的な正規化技術としても機能する。 特に、トレーニング中のメモリ消費は、従来のトレーニング方法よりも1桁も少ない。
  論文  参考訳（メタデータ） (2024-01-23T14:53:20Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)
• Pretraining task diversity and the emergence of non-Bayesian in-context learning for regression [31.950737940558984]
  事前訓練されたトランスフォーマーは、文脈内学習(ICL)の顕著な能力を示す ICLは、事前トレーニング中に見られるタスクとは大きく異なる、基本的に$textitnew$タスクを解決できますか?
  論文  参考訳（メタデータ） (2023-06-26T21:05:20Z)
• Provably Feedback-Efficient Reinforcement Learning via Active Reward Learning [26.067411894141863]
  報酬関数は、強化学習(RL)における課題を特定する上で、最重要である。 HiL(Human-in-the-loop) RLは、さまざまなフィードバックを提供することで、複雑な目標をRLエージェントに伝達することを可能にする。 報奨関数を指定せずに環境を探索する能動的学習に基づくRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T12:36:09Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。