論文の概要: Training LLM Agents to Automate LLM Post-Training with RSI-Dojo

• arxiv url: http://arxiv.org/abs/2611.03698v1
• Date: Thu, 29 Oct 2026 10:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 09:45:37.518917
• Title: Training LLM Agents to Automate LLM Post-Training with RSI-Dojo
• Title（参考訳）: RSI-DojoによるLSM後処理の自動化のためのLSMエージェントの訓練
• Abstract要約: Recursive Self-Improvement (RSI)は、AIシステム自体を自律的に構築し、改善することを目的としている。 自動化モデルトレーニングに関する既存の研究は、ワークフローやハーネスレベルの最適化に重点を置いている。 我々は、人間の研究成果物を実行可能なモデルトレーニング環境に変換する自動パイプラインであるRSI-Craftを開発した。
• 参考スコア（独自算出の注目度）: 34.46067502635193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive Self-Improvement (RSI) aims to enable AI systems to autonomously build and improve AI systems themselves, including models, harnesses, and underlying infrastructure. Within this broader agenda, a central capability is enabling agents to train and improve base models. However, existing studies on automated model training primarily focused on workflow- or harness-level optimizations, rather than internalizing the ability to conduct post-training into the model itself. Developing this capability requires executable model training environments that can produce high-quality trajectories demonstrating how to select data, train models, diagnose failures, and iteratively improve results. In this paper, we introduce RSI-Dojo, a collection of executable model training environments designed to teach LLM agents to conduct post-training. To construct RSI-Dojo, we develop RSI-Craft, an automatic pipeline that converts human research artifacts into executable model training environments. RSI-Craft automatically collects research papers from top venues, instantiates datasets and metrics into a unified interface, and reproduces evaluation dependencies. It then filters tasks by data size, execution reliability, and discriminability, yielding RSI-Dojo with 281 seed model training tasks. Building on RSI-Dojo, we employ a trajectory collection method with an improved harness to collect high-quality model-training trajectories from frontier models, then retain examples through rubric-based and outcome-based filtering. We fine-tune Qwen3.5-9B and Qwen3.6-35B-A3B on these trajectories. The resulting RSI-Dojo-9B and RSI-Dojo-35B-A3B improve over their base models by 8.74 and 16.87 PostTrainBench points, respectively. RSI-Dojo-35B-A3B reaches 29.95 on PostTrainBench and 53.29 on PostTrainBench-Lite, matching the performance of frontier models such as GLM-5.2 and GPT 5.5.
• Abstract（参考訳）: Recursive Self-Improvement (RSI)は、AIシステムがモデル、ハーネス、基盤となるインフラストラクチャを含むAIシステム自体を自律的に構築し、改善することを目的としている。 この広範な議題の中では、エージェントがベースモデルのトレーニングと改善を可能にする中心的な能力がある。 しかしながら、自動モデルトレーニングに関する既存の研究は、主にワークフローやハーネスレベルの最適化に焦点を当てており、モデル自体にポストトレーニングを行う能力を内部化している。 この能力を開発するには、高品質なトラジェクトリを生成し、データの選択方法、モデルをトレーニングし、障害を診断し、結果を反復的に改善する、実行可能なモデルトレーニング環境が必要です。 本稿では,LLMエージェントにポストトレーニングを行うためのモデルトレーニング環境であるRSI-Dojoを紹介する。 RSI-Dojoを構築するために、人間の研究成果物を実行可能なモデルトレーニング環境に変換する自動パイプラインであるRSI-Craftを開発した。 RSI-Craftは、トップ会場から研究論文を自動的に収集し、データセットとメトリクスを統一インターフェースにインスタンス化し、評価依存関係を再現する。 次に、データサイズ、実行信頼性、識別可能性によってタスクをフィルタリングし、281のシードモデルトレーニングタスクでRSI-Dojoを生成する。 RSI-Dojoをベースとして,フロンティアモデルから高品質なモデル学習トラジェクトリを収集するために,改良されたハーネスを用いたトラジェクトリコレクション手法を用いて,ルーリックベースおよび結果ベースフィルタリングによるサンプルの保持を行う。 これらの軌道上でQwen3.5-9BとQwen3.6-35B-A3Bを微調整する。 RSI-Dojo-9B と RSI-Dojo-35B-A3B はそれぞれ 8.74 と 16.87 PostTrainBench を改良した。 RSI-Dojo-35B-A3BはPostTrainBenchで29.95、PostTrainBench-Liteで53.29に達する。

関連論文リスト

• NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
  NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。 本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
  論文  参考訳（メタデータ） (2026-09-08T03:14:54Z)
• Synthetic Sandbox for Training Machine Learning Engineering Agents [26.34347159807133]
  SandMLEは、少数のシードタスクから検証可能な合成MLE環境を生成するマルチエージェントフレームワークである。 我々は,SandMLEが13回以上実行時間を短縮し,MLEドメインで初めて大規模かつオン・ポリティクスなRLを実現することを示す。
  論文  参考訳（メタデータ） (2026-04-06T17:19:29Z)
• Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning [65.10602992874787]
  AutoTrajはツール使用トラジェクトリの修復と報酬によってTIRを自動的に学習するフレームワークである。 実世界のベンチマークの実験では、AutoTrajの有効性が示されている。
  論文  参考訳（メタデータ） (2026-01-30T14:42:04Z)
• Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
  視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。 異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
  論文  参考訳（メタデータ） (2025-09-28T13:19:20Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)
• AutoNeRF: Training Implicit Scene Representations with Autonomous Agents [42.90747351247687]
  ニューラルレージアンス場(NeRF)のような入射表現は、新規なビュー合成に非常に有効であることが示されている。 本稿では,自律的エンボディエージェントを用いたNeRF訓練に必要なデータ収集手法であるAutoNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-21T20:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。