PaperGym: Rubric-Centered Evolution for Research-Plan Generation
Abstractの概要
PaperGymは、科学論文を研究計画生成のためのトレーニング環境へと変換するフレームワークです。論文の研究目的や背景から課題を合成する一方で、手法や実験設計のセクションから評価基準を生成することにより、課題構築とルーブリック導出を分離しています。この分離は、プロンプトの内容を単に言い換えるだけでモデルが報酬を得てしまう基準リーク（criterion leakage）を防ぐように設計されています。計算機科学、物理学、経済学にわたる2万件のコーパスを用い、著者らはルーブリック条件付き自己蒸留と、それに続くルーブリックに基づく報酬を用いた強化学習からなる2段階のスケジュールを通じてモデルを訓練しています。
新規性
本論文は、科学論文の構造を活用してプロンプトと評価基準を分離し、既存データセットと比較して基準リークを低減するルーブリック中心のパイプラインを提案しています。また、同一のルーブリックを、まずオンポリシー自己蒸留（OPSD）のための特権的なコンテキストとして使用し、その後にグループ相対方策最適化（GRPO）の報酬検証器として使用する2段階の訓練スキームを確立しています。
成果
PaperGym-20kは、既存のデータセットやベンチマークにおける11.90%〜34.10%に対し、3.73%という低い基準リーク率を達成しています。OPSD+GRPO訓練スケジュールは教師あり微調整や単一ステージのベースラインを上回り、Qwen3-1.7B、4B、8Bにおける5つのベンチマーク平均をそれぞれ+5.56、+5.04、+4.81ポイント向上させました。同一の訓練条件下において、PaperGym-20kで訓練されたモデルはRubricHub Scienceの28.2%に対して3者間比較で58.1%の勝率を記録し、微調整されたQwen3-8BはResearchQAで73.48に達し、Kimi K2.6の73.19を上回りました。
論文の注目点
- PaperGymは、プロンプトと評価基準の間のリークを最小限に抑えるため、科学論文の重複しないセクションから研究課題と評価ルーブリックを構築する。
- 手法の新規性と実験設計を個別に評価するため、著者らはPaperGym-20kとともに2つのホールドアウトベンチマーク（PaperGym-InnovおよびPaperGym-Design）を公開している。
- ルーブリック条件付きOPSDの後にルーブリック報酬型GRPOを適用する2段階の事後学習パイプラインにより、Qwen3モデルの各スケールおよびドメイン外ベンチマーク全体で一貫した向上が得られる。
参考リンク
- arXiv: https://arxiv.org/abs/2608.31119v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2608.31119v1
- Hugging Face Papers: https://huggingface.co/papers/2608.31119
- GitHub: https://github.com/ZJU-REAL/PaperGym
- Project: https://zju-real.github.io/PaperGym