論文の概要: Language Models as AI Research World Models

• arxiv url: http://arxiv.org/abs/2610.12235v1
• Date: Thu, 08 Oct 2026 16:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.157662
• Title: Language Models as AI Research World Models
• Title（参考訳）: AI研究の世界モデルとしての言語モデル
• Abstract要約: 研究世界モデル (Research World Models, RWMs) は、研究環境全体にわたる候補介入の結果を予測する。 本評価は, プレトレーニング, ポストトレーニング, 推論にまたがる9つの研究環境から, 2,600 以上の実験記録を抽出した。 in-env と cross-env の研究知識を持つ RWM は、それぞれ 15.8% と 11.6% を達成している。
• 参考スコア（独自算出の注目度）: 61.302805712033745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI research agents automate the cycle of proposing, implementing, and evaluating experiments, opening a path toward recursive self-improvement. Yet their ability to propose experiments outpaces their capacity to execute them in real environments, making outcome prediction a key capability for sustained self-improvement under limited experimental budgets. We investigate language models as Research World Models (RWMs), which predict the outcomes of candidate interventions across research environments. Our evaluation draws on over 2,600 experimental records from nine research environments spanning pretraining, post-training, and inference, representing more than 171,000 H100 GPU-hours of experimentation. Research knowledge acquired from real experimental experience improves RWM predictions of unseen interventions within the same environment (Spearman +0.27), and can be reused across environments. For example, using only pretraining experience from OLMo3, Marin, and Nanochat, an RWM reduces selection regret in the Qwen3 environment by 78% compared with zero-experience setting. These benefits extend to multi-round Autoresearch under a fixed selection budget: RWMs with in-env and cross-env research knowledge increase the best gain achieved by 15.8% and 11.6%, respectively. Ablations across 13 language models used as RWMs show that adding research knowledge can improve intervention ranking more than changing models or increasing reasoning effort alone. These findings support language models as RWMs and motivate accumulating experimental data for future RWM training.
• Abstract（参考訳）: AI研究エージェントは、実験の提案、実施、評価のサイクルを自動化し、再帰的な自己改善への道を開く。 しかし、実験を提案する能力は、実際の環境で実施する能力よりも優れており、その結果予測は限られた実験予算の下での持続的な自己改善の重要な能力となる。 研究環境全体にわたる候補介入の結果を予測するRWM(Research World Models)として,言語モデルについて検討する。 本評価では, プレトレーニング, ポストトレーニング, 推論にまたがる9つの研究環境から2,600以上の実験記録を抽出し, 実験時間171,000H100以上のGPU時間を表す。 実際の実験経験から得られた研究知識は、同じ環境(Spearman +0.27)における目に見えない介入のRWM予測を改善し、環境全体にわたって再利用することができる。 例えば、OLMo3、Marin、Nanochatの事前トレーニング経験のみを使用して、RWMは、ゼロエクスペリエンス設定と比較して、Qwen3環境における選択後悔を78%削減する。 これらの利点は、固定された選択予算の下で、マルチラウンドのオートリサーチにまで拡張される: イン・エンヴとクロス・エンヴの研究知識を持つRWMは、それぞれ15.8%と11.6%の利益を達成している。 RWMとして使用される13の言語モデルのアブレーションは、研究知識を追加することで、モデルの変更や推論の労力の増加よりも、介入のランク付けを改善することができることを示している。 これらの結果は、RWMとして言語モデルをサポートし、将来のRWMトレーニングのために実験データを蓄積する動機付けとなる。

関連論文リスト

• Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation [4.702729080310267]
  PapersWithCodeの客観的な結果に基づいて,11,488のアイデアペアのデータセットを構築した。 我々は、潜在的推論経路を発見するためにモデルを訓練し、解釈可能な正当化で71.35%を達成した。 この結果から,計算効率のよい小言語モデルが,有効で客観的な検証手段として有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-06T19:03:11Z)
• HARPA: A Testability-Driven, Literature-Grounded Framework for Research Ideation [29.9491787481972]
  HARPAは科学的文献で実証可能な仮説を生成するためのツールである。 評価の結果,HARPAが生成する仮説駆動型研究提案は,強力なベースラインAI-Researcherと相容れない性能を示した。 ASDエージェント(CodeScientist)でテストすると、HARPAはより成功した実行(40のうち20対11)と少ない障害(16対21対40)を生み出した。
  論文  参考訳（メタデータ） (2025-10-01T07:52:19Z)
• RAG-R1 : Incentivize the Search and Reasoning Capabilities of LLMs through Multi-query Parallelism [10.288667305064065]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 LLMは、静的な内部知識のために、幻覚または時代遅れの応答を生成する傾向にある。 Retrieval-Augmented Generation(RAG)法の最近の進歩は、モデルの探索と推論能力の向上を目的としている。
  論文  参考訳（メタデータ） (2025-06-30T09:02:45Z)
• MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
  先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。 我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。 我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
  論文  参考訳（メタデータ） (2025-05-23T13:24:50Z)
• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Simulating Field Experiments with Large Language Models [0.6144680854063939]
  本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。 観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。 以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
  論文  参考訳（メタデータ） (2024-08-19T03:41:43Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• Predicting Performance for Natural Language Processing Tasks [128.34208911925424]
  実験条件を入力として,NLP実験の評価スコアを予測する回帰モデルを構築した。 9つの異なるNLPタスクを実験した結果、予測器は目に見えない言語や異なるモデリングアーキテクチャに対して有意義な予測を生成できることがわかった。
  論文  参考訳（メタデータ） (2020-05-02T16:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。