論文の概要: PaperGym: Rubric-Centered Evolution for Research-Plan Generation

• arxiv url: http://arxiv.org/abs/2608.31119v1
• Date: Mon, 31 Aug 2026 17:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.541779
• Title: PaperGym: Rubric-Centered Evolution for Research-Plan Generation
• Title（参考訳）: PaperGym:リサーチプラン生成のためのルーブリック中心の進化
• Abstract要約: 各研究論文を完全なトレーニング環境に変換する統合フレームワークであるPaperGymを紹介する。 PaperGymは論文の構造を利用しており、質問は研究目標と背景から合成され、基準は手法と実験から導かれる。 レシピが固定され、PaperGym-20kで訓練されたモデルが3方向比較の58.1%を獲得し、Hub Scienceの28.2%が勝利した。
• 参考スコア（独自算出の注目度）: 69.5921878728483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research planning is the decisive capability of AI scientists. Yet a research plan admits no verifiable answer, so reinforcement learning lacks the environment it requires: tasks paired with a critic. Rubrics extracted from scientific papers can supply the critic. Existing pipelines, however, draw the question and the criteria from the same content, so the reward can be earned by paraphrase. The rubric is further compressed into a single scalar per rollout. We introduce PaperGym, a unified framework that turns each research paper into a complete training environment. PaperGym exploits the structure of a paper: the question is synthesized from the research goal and background, while the criteria are derived from the method and experiments. The criteria span methodological innovation and experimental design, and criterion leakage falls to 3.7%, versus 11.90% to 34.10% in existing datasets. Training uses the rubric twice: first as privileged context for OPSD's self-teacher, then as the reward for GRPO. Across Qwen3-1.7B/4B/8B, this schedule outperforms supervised fine-tuning, either stage alone, and the reverse ordering, improving five-benchmark averages by +5.6, +5.0, and +4.8 points. With the recipe held fixed, models trained on PaperGym-20k win 58.1% of three-way comparisons, against 28.2% for RubricHub Science. The trained Qwen3-8B reaches 73.48 on ResearchQA, above the far larger Kimi K2.6. We release the pipeline, the 20,000-instance corpus PaperGym-20k, and the benchmarks PaperGym-Innov and PaperGym-Design.
• Abstract（参考訳）: 研究計画はAI科学者の決定的な能力である。 しかし、研究計画では検証可能な答えは認められていないため、強化学習には必要な環境が欠けている。 科学論文から抽出されたルーブリックは、批評家に供給することができる。 しかし、既存のパイプラインは、質問と基準を同じ内容から引き出すため、報酬はパラフレーズで得られる。 ルーブリックはさらに、ロールアウト毎に1つのスカラーに圧縮される。 各研究論文を完全なトレーニング環境に変換する統合フレームワークであるPaperGymを紹介する。 PaperGymは論文の構造を利用しており、質問は研究目標と背景から合成され、基準は手法と実験から導かれる。 基準は方法論的な革新と実験的設計にまたがっており、既存のデータセットの11.90%から34.10%に対して、基準リークは3.7%に低下している。 トレーニングでは、まずOPSDの自己学習者のための特権付きコンテキストとして、次にGRPOの報酬として、ルーリックを2回使用します。 Qwen3-1.7B/4B/8Bで、このスケジュールは監督された微調整、ステージ単独、リバースオーダー、および5ベンチマーク平均を+5.6、+5.0、+4.8ポイント改善する。 レシピが固定され、PaperGym-20kで訓練されたモデルは3方向比較の58.1%を獲得し、RubricHub Scienceの28.2%が勝利した。 訓練されたQwen3-8Bは、より大型のK2.6より上、ResearchQAで73.48に達した。 パイプライン、20,000インスタンスコーパスのPaperGym-20k、ベンチマークのPaperGym-InnovとPaperGym-Designをリリースしています。

関連論文リスト

• Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
  DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。 その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。 DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
  論文  参考訳（メタデータ） (2026-08-18T17:29:00Z)
• TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
  下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。 筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。 プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
  論文  参考訳（メタデータ） (2026-08-11T20:30:32Z)
• ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
  我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。 各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
  論文  参考訳（メタデータ） (2026-05-28T16:27:40Z)
• How Far Are We From True Auto-Research? [20.195549933333222]
  ResearchArenaは最小限の足場で、市販のエージェント自身が完全な研究ループを実行できる。 13のコンピュータサイエンスシードとエージェントドメインペア当たりのトライアルで、ResearchArenaは117のエージェント生成論文を生成する。 エージェント生成された117の論文のうち、トップレベルの会場の受け入れバーには到達しない。
  論文  参考訳（メタデータ） (2026-05-18T22:20:33Z)
• The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
  本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。 通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
  論文  参考訳（メタデータ） (2026-04-27T16:23:09Z)
• ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
  我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。 これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。 GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
  論文  参考訳（メタデータ） (2026-02-16T19:00:03Z)
• Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
  72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。 我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。 ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
  論文  参考訳（メタデータ） (2026-01-18T11:57:09Z)
• RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
  RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
  論文  参考訳（メタデータ） (2026-01-14T11:37:00Z)
• PaperBench: Evaluating AI's Ability to Replicate AI Research [3.4567792239799133]
  PaperBenchは、AIエージェントが最先端のAI研究を複製する能力を評価するベンチマークである。 エージェントは、スクラッチから20個のICML 2024 SpotlightとOralの文書を複製する必要がある。 PaperBenchには8,316の個別の段階的なタスクが含まれている。
  論文  参考訳（メタデータ） (2025-04-02T15:55:24Z)
• Generation of Highlights from Research Papers Using Pointer-Generator Networks and SciBERT Embeddings [5.095525589147811]
  我々は,入力トークンをSciBERT埋め込みにエンコードする入力に,カバレッジ機構を備えたポインタジェネレータネットワークとコンテキスト埋め込み層を用いる。 我々は、ベンチマークデータセットCSPubSumでモデルをテストし、また、自動研究ハイライト生成のための新しい論文の多分野コーパスであるMixSubを提示する。
  論文  参考訳（メタデータ） (2023-02-14T12:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。