論文の概要: Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis
- arxiv url: http://arxiv.org/abs/2610.03548v1
- Date: Fri, 02 Oct 2026 16:30:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.478371
- Title: Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis
- Title（参考訳）: フロンティア推論データ合成のための帰納的ハーネス自己改善
- Abstract要約: 推論データ合成におけるタスクハーネス共進化について述べる。
オンライン自己改善は、中間解決器の故障を生成時に再利用可能なスキルに変換する。
数学、コーディング、科学全般において、平均解法精度は14回の進化ラウンドで100.0%から54.8%に低下する。
- 参考スコア（独自算出の注目度）: 25.248058998960648
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Generating progressively harder reasoning problems requires synthesis procedures that adapt as the task distribution evolves. Existing task-level recursion reuses generated problems as seeds but leaves the construction harness unchanged. We present task-harness co-evolution, a framework for recursive harness self-improvement (RSI) in reasoning-data synthesis. Online self-improvement converts intermediate solver failures into reusable skills during generation. Post-task self-improvement revises skills, prompts, and workflows after each batch, adopting candidates only when they generate harder valid tasks within a bounded cost increase. Model weights and verification criteria remain fixed. Across mathematics, coding, and science, mean solver accuracy decreases from 100.0% to 54.8% over fourteen evolution rounds. Ablations show that combining both update schedules produces harder tasks than fixed-harness recursion or either schedule alone. The resulting data improves downstream SFT and GRPO performance. In particular, a 27B student fine-tuned on 10K synthesized mathematics examples achieves 62.5% mean-16 accuracy on APEX, competitive with selected frontier-model references. These results support adapting the synthesis harness alongside the tasks to generate increasingly challenging data with downstream training value.
- Abstract（参考訳）: 徐々に難しい推論問題を生成するには、タスク分布が進化するにつれて適応する合成手順が必要である。
既存のタスクレベルの再帰は、発生した問題を種として再利用するが、構造上のハーネスは変わらない。
本稿では、推論データ合成における再帰的ハーネス自己改善(RSI)の枠組みであるタスクハーネス共進化を提案する。
オンライン自己改善は、中間解決器の故障を生成時に再利用可能なスキルに変換する。
タスク後の自己改善は、各バッチの後にスキル、プロンプト、ワークフローを改訂する。
モデルウェイトと検証基準は依然として固定されている。
数学、コーディング、科学全般において、平均解法精度は14回の進化ラウンドで100.0%から54.8%に低下する。
両方の更新スケジュールを組み合わせることで、固定ハーネスの再帰や、いずれのスケジュール単独よりも難しいタスクが生まれます。
その結果、下流SFTおよびGRPOの性能が向上する。
特に、10K合成数学の例を微調整した27Bの学生はAPEXで平均16の精度を62.5%達成し、選択されたフロンティアモデル参照と競合する。
これらの結果は、合成ハーネスをタスクとともに適応させ、下流のトレーニング値でますます困難なデータを生成するのをサポートする。
関連論文リスト
- RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
正規化再帰的自己改善型エージェント・ハーネス(RRSI)
本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。
RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
論文 参考訳（メタデータ） (2026-09-21T17:54:49Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Recursive Harness Self-Improvement [28.432258880153125]
モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。
本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。
RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
論文 参考訳（メタデータ） (2026-07-17T00:21:19Z) - Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills [12.442806027914097]
本稿では,エージェントの過去の解法トレースをトレーニング信号のソースとして再利用する,クローズドループ自己進化フレームワークであるSocratic-SWEを紹介する。
トレースを報酬計算の証拠としてのみ扱うのではなく、Socratic-SWEはそれらを、繰り返し発生する障害と効果的な修復パターンを要約した構造化されたエージェントスキルに蒸留する。
論文 参考訳（メタデータ） (2026-06-05T16:00:17Z) - TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。
TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
論文 参考訳（メタデータ） (2026-06-03T06:40:04Z) - CoTEvol: Self-Evolving Chain-of-Thoughts for Data Synthesis in Mathematical Reasoning [56.866286835885994]
コテボル(CoTEvol)は、遺伝進化の枠組みであり、個体群に基づく推論の軌跡の探索としてチェイン・オブ・ソート(Chain-of-Thought)の生成を推し進める。
軽量でタスク対応のフィットネス機能は、進化過程を正確で多様な推論へと導くように設計されている。
実証的に、CoTEvolは正しいCoT合成の成功を30%以上改善し、構造的多様性を高め、効率を著しく改善した。
論文 参考訳（メタデータ） (2026-04-16T08:29:22Z) - Pioneer Agent: Continual Improvement of Small Language Models in Production [6.452260317191361]
小さな言語モデルは、低コスト、高速な推論、特殊化の容易さのために、製品展開にとって魅力的なものだ。
特定のタスクに小さな言語モデルを適用するプロセスを自動化するクローズドループシステムであるPioneer Agentを提案する。
論文 参考訳（メタデータ） (2026-04-10T18:13:09Z) - Dr. Zero: Self-Evolving Search Agents without Training Data [34.91191770652202]
我々は,検索エージェントがトレーニングデータなしで効果的に自己開発できるフレームワークであるDr. Zeroを紹介した。
特に,提案者が多様な質問を生成する自己進化フィードバックループを設計し,同じベースモデルから問題解決者を訓練する。
トレーニング効率を向上させるため、ホップ群相対ポリシー最適化(HRPO)も導入する。
論文 参考訳（メタデータ） (2026-01-11T20:27:55Z) - Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。
既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。
本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
論文 参考訳（メタデータ） (2025-09-08T17:36:21Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。