論文の概要: RSI-Forge: From Research Papers to Environments for Recursive Self-Improvement

• arxiv url: http://arxiv.org/abs/2610.09426v1
• Date: Wed, 07 Oct 2026 04:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.71675
• Title: RSI-Forge: From Research Papers to Environments for Recursive Self-Improvement
• Title（参考訳）: RSI-Forge:再帰的自己改善のための研究論文から環境へ
• Abstract要約: RSI-Forgeは論文を自己改善のために実行可能な環境に変える。 我々は18の分野にまたがって210の環境を提示し、90の人間ドメインの専門家によるレビューを行った。
• 参考スコア（独自算出の注目度）: 37.584931570894696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Environments are the foundation of recursive self-improvement: they provide the problems agents work on and the feedback used to evaluate progress. Yet constructing challenging research environments with reliable evaluation still depends on domain experts, limiting their scale and disciplinary coverage. We introduce RSI-Forge, a multi-agent pipeline that turns published papers into executable environments for self-improvement. Three agents coordinate construction, reproduction, and review to produce tasks with automated evaluators; each paper's method is independently reimplemented to establish a baseline score. We present 210 environments across 18 fields, including 90 reviewed by independent human domain experts. Both experts and agent judges give high ratings to the potential for improving the provided starting solutions and the evaluators' ability to distinguish solution quality, whereas experts are more critical of shortcut resistance, faithfulness to the source paper, and whether a single idea can exhaust a task. To validate their use for repeated improvement, we evaluate four models over 3 successive attempts on 120 environments, with each attempt inheriting prior code and notes while model weights remain fixed. At least one model improves after the first attempt in 84% of environments. Models also outperform the reproduced paper methods in 68 of the 120 environments, demonstrating room for gains beyond these baselines. Transcript analysis identifies work beyond parameter tuning in 95% of these successful attempts. Analysis of the resulting trajectories shows that models scoring lower on these tasks explore less, more often accept gains smaller than the reported standard error, and rely more heavily on tuning to the development set. RSI-Forge provides a scalable approach to constructing research environments for training and evaluating self-improving agents.
• Abstract（参考訳）: 環境は再帰的な自己改善の基礎であり、エージェントが取り組んでいる問題と進捗を評価するために使用されるフィードバックを提供する。 しかし、信頼性の高い評価を伴う挑戦的な研究環境の構築は、まだドメインエキスパートに依存しており、その規模と学際的カバレッジを制限している。 論文を自己改善のために実行可能な環境に変換するマルチエージェントパイプラインであるRSI-Forgeを紹介する。 3つのエージェントが、自動評価器でタスクを生成するために構築、再生、レビューを調整し、各論文の手法を独立して再実装し、ベースラインスコアを確立する。 我々は18の分野にまたがって210の環境を提示し、90の人間ドメインの専門家によるレビューを行った。 専門家とエージェントの裁判官は、提供された開始ソリューションの改善の可能性と、ソリューションの品質を区別する評価者の能力に高い評価を与える一方、専門家は、ショートカットの抵抗、ソース・ペーパーへの忠実さ、一つのアイデアがタスクを遂行できるかどうかについてより批判的である。 モデル重みが固定されたまま、各試みが先行コードとノートを継承し、120環境で3回の連続試行に対して4つのモデルを評価する。 84%の環境での最初の試みの後、少なくとも1つのモデルが改善される。 モデルはまた、120の環境のうち68の環境で再現された紙の方法よりも優れており、これらのベースラインを超えて利益を得る余地を示している。 トランスクリプト解析は、これらの成功した試みの95%において、パラメータチューニングを超えた作業を特定する。 結果として得られた軌跡の分析から、これらのタスクでスコアの低いモデルでは探索が小さくなり、報告された標準エラーよりも利得を受け入れやすくなり、開発セットへのチューニングに大きく依存することが示された。 RSI-Forgeは、自己改善エージェントのトレーニングと評価のための研究環境を構築するためのスケーラブルなアプローチを提供する。

関連論文リスト

• How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks [6.001213285107465]
  AutoResearchEvalは、7つの科学領域にまたがるフロンティア科学に根ざした100のタスクを特徴としている。 8つのハーネスモデルの組み合わせを評価すると、800個のオート検索剤の軌道が得られる。 我々は,人間のキャリブレーションしたエージェント・アズ・ア・ジャッジ・パイプラインを利用して,完全な軌道や中間成果物を検査する。
  論文  参考訳（メタデータ） (2026-08-14T21:39:38Z)
• An Agentic Approach Towards Replication Package Quality Evaluation [1.6950215926321557]
  本稿では,複製パッケージの品質評価のためのエージェント的アプローチについて検討する。 我々は34のソースから380の要件を51の基準に集約し、そのうち31は自動アーティファクトベースの評価のために運用されている。 5つの複製パッケージの予備評価は、91.4%と75.4%の高い実行間一貫性を示している。
  論文  参考訳（メタデータ） (2026-06-01T10:00:41Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
  我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。 これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。 GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
  論文  参考訳（メタデータ） (2026-02-16T19:00:03Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。