論文の概要: Scaling Automatic Research Agents via World Models

• arxiv url: http://arxiv.org/abs/2608.12564v1
• Date: Wed, 12 Aug 2026 20:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.31876
• Title: Scaling Automatic Research Agents via World Models
• Title（参考訳）: 世界モデルによる自動研究エージェントのスケーリング
• Abstract要約: 最近の研究(AutoResearch)エージェントは、ソリューションを独立して実装し、実行から学ぶ能力を示している。 これらの利益の裏では、ポストトレーニング(特にRL)が中心的な役割を果たす。 世界モデルRL(WMRL)はこのボトルネックを取り除くために環境実行を世界モデルに置き換える。
• 参考スコア（独自算出の注目度）: 42.9808933592206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automating empirical research is a long-standing direction of AI. Recent automatic research (AutoResearch) agents bring this goal within reach, as modern LLMs show the capability to independently implement solutions and learn from the execution outcomes. Behind these gains, post-training (especially RL) plays a central role. In this paper, we identify a fundamental tension when scaling RL for these agents: the two components of every AutoResearch trajectory (agent generation and environment execution) scale in very different manners, since all generation shares compute through batching, while each execution occupies its exclusive sandbox and real machine time. As a result, the environment execution dominates the training cost and becomes the bottleneck as trajectories grow. To resolve this tension, we propose World Model RL (WMRL), which replaces environment execution with a world model to remove this bottleneck. Additionally, the world model can be imperfect, as its rewards are corrupted by bias and noise. Therefore, we further equip WMRL with two mitigations, Online Debiasing and Inverse-Variance Denoising, which offset the bias and suppress the noise respectively. Theoretically, we prove that both mitigations of WMRL strictly improve the convergence guarantee. Empirically, WMRL accelerates training by 3-4x on various tasks at different agent scales, while exceeding the performance of standard RL baselines. Moreover, our post-trained 4B and 9B agents outperform much larger open-weight agents of 48B and 120B on held-out benchmarks. Beyond AutoResearch, WMRL also transfers to post-training embodied VLA policies, which demonstrates the generalizability of our method.
• Abstract（参考訳）: 実証研究の自動化は、AIの長年の方向性である。 近年のAutoResearch(AutoResearch)エージェントは,ソリューションを独立して実装し,実行結果から学習する能力を示すため,この目標を達成する。 これらの利益の裏では、ポストトレーニング(特にRL)が中心的な役割を果たす。 本稿では,これらのエージェントに対してRLをスケーリングする際の基本的な緊張点を特定する。各AutoResearch トラジェクトリ(エージェント生成と環境実行)の2つのコンポーネントは,バッチ処理によって計算されるため,それぞれが排他的なサンドボックスとリアルタイムを占有しているため,まったく異なる方法でスケールする。 その結果、環境実行がトレーニングコストを支配し、軌道が大きくなるにつれてボトルネックとなる。 そこで我々は,このボトルネックを取り除くために,環境負荷を世界モデルに置き換えるWMRL(World Model RL)を提案する。 さらに、報酬がバイアスとノイズによって損なわれるため、世界モデルは不完全である可能性がある。 そこで我々はWMRLに、バイアスを相殺し、ノイズを抑える2つの緩和策であるオンラインデバイアスと逆バリアンスデノイズを装備する。 理論的には、WMRLの緩和はどちらも収束保証を厳密に改善することを証明する。 経験的に、WMRLは標準的なRLベースラインの性能を超えながら、異なるエージェントスケールでの様々なタスクの3.4倍のトレーニングを加速する。 さらに,ポストトレーニング後の4Bおよび9Bエージェントは,ホールドアウトベンチマークにおいて48Bおよび120Bのオープンウェイトエージェントよりも優れていた。 AutoResearch以外にも、WMRLはポストトレーニングの実施したVLAポリシーにも移行し、本手法の一般化可能性を示している。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency [38.99457938189648]
  本稿では、推論遅延下での一般ポリシーのRLに基づく改善を可能にする、遅延対応フレームワークであるAsynchronous RL with Intermediate Information (ARLI)を紹介する。 我々のフレームワークは非同期推論アプローチに基づいており、実行時に動作生成をインターリーブして遅延を隠蔽し、RLとの非互換性に対処する。 シミュレーションおよび実世界の操作タスクにまたがるアプローチを評価し、標準RLが完全に失敗する推論遅延下で効果的な微調整を可能にすることを発見した。
  論文  参考訳（メタデータ） (2026-08-24T21:19:50Z)
• Policy and World Modeling Co-Training for Language Agents [44.550078924046375]
  強化学習(RL)は、大きな言語モデル(LLM)エージェントを、高い報酬をもたらすアクションを教えることによって改善するが、これらのアクションが環境に何をするかをほとんど監督しない。 世界モデリング(WM)はこのギャップを埋めることができますが、既存のアプローチでは、個別のシミュレータ、追加のトレーニングステージ、追加の推論時間計算が必要です。 我々は、推論パラダイムを変更することなく、RL中に同一ポリシーに補助的なWM監督を追加する政策・世界モデリング協調学習フレームワークPaWを提案する。
  論文  参考訳（メタデータ） (2026-06-01T15:35:40Z)
• ARL-Tangram: Unleash the Resource Efficiency in Agentic Reinforcement Learning [15.912431502064678]
  ARL-Tangramは、きめ細かい外部リソース共有と弾力性を実現する統一されたリソース管理システムである。 ARL-Tangramは平均ACTを最大4.3$times$で改善し、RLトレーニングのステップ期間を1.5$times$で高速化し、外部リソースを最大71.2$%$で節約する。
  論文  参考訳（メタデータ） (2026-03-13T14:25:20Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Knowledge Graph Reasoning with Self-supervised Reinforcement Learning [30.359557545737747]
  本稿では,RLトレーニング前の政策ネットワークを温めるための自己指導型事前学習手法を提案する。 教師付き学習段階において、エージェントはポリシーネットワークに基づいて行動を選択し、生成されたラベルから学習する。 我々のSSRLモデルは、すべてのHits@kおよび平均相互ランク(MRR)メトリクスにおいて、現在の最先端結果と一致または超えていることを示す。
  論文  参考訳（メタデータ） (2024-05-22T13:39:33Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。