論文の概要: CWM: An Open-Weights LLM for Research on Code Generation with World Models

• arxiv url: http://arxiv.org/abs/2510.02387v1
• Date: Tue, 30 Sep 2025 21:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.067479
• Title: CWM: An Open-Weights LLM for Research on Code Generation with World Models
• Title（参考訳）: CWM:世界モデルを用いたコード生成研究のためのオープンウェイトLLM
• Authors: FAIR CodeGen team, Quentin Carbonneaux, Gal Cohen, Jonas Gehring, Jacob Kahn, Jannik Kossen, Felix Kreuk, Emily McMilin, Michel Meyer, Yuxiang Wei, David Zhang, Kunhao Zheng, Jordi Armengol-Estapé, Pedram Bashiri, Maximilian Beck, Pierre Chambon, Abhishek Charnalia, Chris Cummins, Juliette Decugis, Zacharias V. Fisches, François Fleuret, Fabian Gloeckle, Alex Gu, Michael Hassid, Daniel Haziza, Badr Youbi Idrissi, Christian Keller, Rahul Kindi, Hugh Leather, Gallil Maimon, Aram Markosyan, Francisco Massa, Pierre-Emmanuel Mazaré, Vegard Mella, Naila Murray, Keyur Muzumdar, Peter O'Hearn, Matteo Pagliardini, Dmitrii Pedchenko, Tal Remez, Volker Seeker, Marco Selvi, Oren Sultan, Sida Wang, Luca Wehrstedt, Ori Yoran, Lingming Zhang, Taco Cohen, Yossi Adi, Gabriel Synnaeve,
• Abstract要約: 我々は、Code World Model (CWM) をリリースし、世界モデルを用いたコード生成の研究を進めます。 我々はPythonインタプリタとエージェントDocker環境から大量の観察-アクショントラジェクトリをトレーニング中である。 我々は,ワールドモデルがエージェントプログラミングの恩恵を受けるための第一歩として,Pythonコード実行のステップバイステップシミュレーションを実現し,推論が後者にどのようなメリットをもたらすかを示す。
• 参考スコア（独自算出の注目度）: 78.0342683953353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We release Code World Model (CWM), a 32-billion-parameter open-weights LLM, to advance research on code generation with world models. To improve code understanding beyond what can be learned from training on static code alone, we mid-train CWM on a large amount of observation-action trajectories from Python interpreter and agentic Docker environments, and perform extensive multi-task reasoning RL in verifiable coding, math, and multi-turn software engineering environments. With CWM, we provide a strong testbed for researchers to explore the opportunities world modeling affords for improving code generation with reasoning and planning in computational environments. We present first steps of how world models can benefit agentic coding, enable step-by-step simulation of Python code execution, and show early results of how reasoning can benefit from the latter. CWM is a dense, decoder-only LLM trained with a context size of up to 131k tokens. Independent of its world modeling capabilities, CWM offers strong performance on general coding and math tasks: it reaches pass@1 scores of 65.8% on SWE-bench Verified (with test-time scaling), 68.6% on LiveCodeBench, 96.6% on Math-500, and 76.0% on AIME 2024. To support further research on code world modeling, we release model checkpoints after mid-training, SFT, and RL.
• Abstract（参考訳）: 我々は,32ビリオンパラメタのオープンウェイトLLMであるCode World Model (CWM) をリリースし,世界モデルを用いたコード生成の研究を進めた。 静的コードだけでのトレーニングから学んだことを超えて、コード理解を改善するために、PythonインタプリタとエージェントDocker環境から大量の観察-アクショントラジェクトリをトレーニングし、検証可能なコーディング、数学、マルチターンソフトウェアエンジニアリング環境において、広範なマルチタスク推論RLを実行しました。 CWMでは、研究者が計算環境における推論と計画によるコード生成を改善するための世界モデリングの機会を探るための強力なテストベッドを提供する。 我々は,ワールドモデルがエージェントプログラミングの恩恵を受けるための第一歩として,Pythonコード実行のステップバイステップシミュレーションを実現し,推論が後者のメリットを享受する方法の早期結果を示す。 CWMは、最大131kのトークンでトレーニングされた、密度の高いデコーダのみのLLMである。 ワールドモデリング機能とは独立して、CWMは一般的なコーディングタスクと数学タスクで強力なパフォーマンスを提供している。パス@1スコアはSWE-bench Verifiedで65.8%、LiveCodeBenchで68.6%、Math-500で96.6%、AIME 2024で76.0%である。 コードワールドモデリングのさらなる研究を支援するため、中級トレーニング後のモデルチェックポイント、SFT、RLをリリースする。

関連論文リスト

• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• In-Context Code-Text Learning for Bimodal Software Engineering [26.0027882745058]
  バイモーダルなソフトウェア分析は、大きな言語モデルの出現とともに、当初は手の届くところにあるように見えた。 コードテキストのバイモーダル性に対するコンテキスト内学習は有望な道であると仮定する。 我々は、23のソフトウェアエンジニアリングタスクを含む多様なデータセットを考察し、コンテキスト内学習フォーマットで変換する。
  論文  参考訳（メタデータ） (2024-10-08T19:42:00Z)
• PWM: Policy Learning with Multi-Task World Models [37.678858748473196]
  世界モデル手法は、環境のシミュレーションを学習することでスケーラビリティを提供する。 勾配に基づく手法は低い分散を示すが、不連続性を扱うことができない。 連続制御のための新しいモデルベースRLアルゴリズムであるマルチタスク世界モデル(PWM)を用いたポリシー学習を紹介する。
  論文  参考訳（メタデータ） (2024-07-02T17:47:03Z)
• Generating Code World Models with Large Language Models Guided by Monte Carlo Tree Search [5.913758275518443]
  我々は,大規模言語モデル(LLM)が生成する世界モデルであるコードワールドモデルを,モデルベース強化学習(RL)のためのPythonコード形式として検討する。 LLMの代わりにコードを呼び出すことは、より正確で、信頼性があり、解釈可能で、非常に効率的である可能性がある。 その結果, モデルベースRLエージェントは, サンプル効率と推論速度を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2024-05-24T09:31:26Z)
• CodePori: Large-Scale System for Autonomous Software Development Using Multi-Agent Technology [4.2990995991059275]
  大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学の分野を変えました。 我々は,大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化するように設計された,新しいシステムであるCodePoriを紹介する。 結果: CodePoriは、典型的なソフトウェア開発プロセスに合わせて、大規模プロジェクトの実行コードを生成することができる。
  論文  参考訳（メタデータ） (2024-02-02T13:42:50Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。