論文の概要: ANTE: Anticipate, Then Execute -- Learning Internal World Models for Coding Agents from Verified Beliefs

• arxiv url: http://arxiv.org/abs/2610.15368v1
• Date: Sun, 11 Oct 2026 05:46:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:25:27.403456
• Title: ANTE: Anticipate, Then Execute -- Learning Internal World Models for Coding Agents from Verified Beliefs
• Title（参考訳）: ANTE: 予測と実行 -- 検証された信念からエージェントをコーディングするための内部世界モデルを学ぶ
• Abstract要約: 本稿では、実際の実行によってポリシーの事前動作予測を検証するエージェントRLフレームワークであるANTEを提案する。 各行動の前に述べられた内的信念により、Belief-Anchored Policy Optimization (BAPO) は、解決された予測をステップごとの利点に変換する。 私たちは、何が起きたのか、今何を保持し、次に何を達成するかを知るコードワールドモデルを構築することを目指しています。
• 参考スコア（独自算出の注目度）: 13.777878326510338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapid advances in large language models have made software engineering agents capable of tackling complex coding tasks. Within a containerized environment, a coding agent receives tool responses or execution results, and determines its later actions by those earlier results. However, most existing coding agents never look ahead: their policies do not anticipate the consequences of actions, and the terminal reward barely attributes a failure to certain earlier steps, so an ill-judged edit can corrupt the repository state irreversibly before any signal arrives. Recent code world models aim to address these challenges, but they are either trained and then frozen before reinforcement learning (RL), or reduced to an auxiliary next-token loss on the environment's outputs. We present ANTE (Anticipate, Then Execute), an agentic RL framework that verifies the policy's pre-action predictions by real execution and turns them into per-step credit for its actions and trust-or-abstain decisions. With an internal belief stated before each action, Belief-Anchored Policy Optimization (BAPO) turns the settled predictions into per-step advantages by anchoring credit on the policy's own forecasts. To turn the trained forecasts into better actions at inference, thereby facilitating effective test-time scaling, ANTE-TTO (test-time optimization) selects among candidate actions without an external scorer. ANTE raises Qwen3-32B from 25.0% to 57.2% pass@1 on SWE-bench Verified, 6.2% above a matched GRPO baseline trained without the belief state; its world model's accuracy climbs from 44% to 69% during RL, and the learned foresight capability transfers across harnesses and out-of-distribution domains. In summary, we aim to build a code world model that knows what has happened, what holds now, and what the next action will achieve.
• Abstract（参考訳）: 大規模言語モデルの急速な進歩により、ソフトウェアエンジニアリングエージェントは複雑なコーディングタスクに取り組むことができるようになった。 コンテナ化された環境では、コーディングエージェントがツールのレスポンスや実行結果を受信し、その前の結果によってその後のアクションを決定する。 しかし、既存のほとんどのコーディングエージェントは、前もって見ることはない。彼らのポリシーはアクションの結果を予測せず、端末の報酬は、ある初期ステップの失敗をほとんど原因としないため、未判断の編集は、何らかの信号が到着する前にリポジトリの状態を不可逆的に破壊する可能性がある。 最近のコードワールドモデルはこれらの課題に対処することを目的としているが、それらは強化学習(RL)の前に訓練され、凍結されるか、あるいは環境の出力に対する補助的な次段階の損失に還元される。 本稿では,エージェントRLフレームワークであるANTE(Anticipate, Then Execute)を提案する。 各行動の前に述べられた内的信念により、Belief-Anchored Policy Optimization (BAPO) は、決定された予測を、政策自身の予測に信用を固定することで、ステップごとのアドバンテージに変換する。 トレーニングされた予測を推論時のより良いアクションに転換し、効率的なテストタイムスケーリングを容易にするために、ANTE-TTO(テストタイム最適化)は、外部スコアラなしで候補アクションの中から選択する。 ANTEは、Qwen3-32Bを25.0%から57.2%パス@1に引き上げ、SWE-bench検証、一致したGRPOベースラインの6.2%、RLでトレーニングされた世界モデルの精度は44%から69%まで上昇する。 まとめると、私たちは何が起きたのか、今何を保持し、次に何を達成するかを知るコードワールドモデルを構築することを目指しています。

関連論文リスト

• Software World Models: From Consequence Prediction to Decision Value [9.344309178867542]
  ソフトウェアワールドモデル(SWM)は、コードの変更によって影響を受けるより広範なシステムをモデル化し、そのブラストセットを予測します。 Actは、サンプルされた予測を、変更のランク付け、積極的に移行するためのコンシューマごとのブレーク確率に変換し、別の実行がそのコストに値するかどうかを判断する。 保持された合成システムでは、SWMは静的到達性のために0.431から0.571pm0.037$までブラストセットF1を改善する。
  論文  参考訳（メタデータ） (2026-10-04T04:34:44Z)
• Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL [11.111311157819214]
  本稿では,各軌道にすでに存在する観測トークンを監督するActObsを紹介する。 配備されたエージェントは観測を決して生成しないが、それらを予測するための学習は、アクションの結果をモデル化するポリシーを奨励する。
  論文  参考訳（メタデータ） (2026-09-17T17:11:29Z)
• Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents [0.0]
  現在のエージェントシステムは、推論を開始する前にデリゲートを決定する。 我々は第3の体制について研究し、それは成功しそうもないと自覚するエージェントである。
  論文  参考訳（メタデータ） (2026-08-25T05:35:07Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• The Missing Piece in Pre-trained Model Evaluation: Reward-Guided Decoding Unlocks Task-Oriented Behavior Without Parameter Updates [31.50160357699629]
  エネルギーベースデコーディング(Energy-Based Decoding)は、凍結した事前学習モデルからタスク指向の振る舞いを活性化するためのトレーニング不要で報酬誘導型フレームワークである。 EBDは,基本モデル出力をより指示追従行動にシフトさせ,学習後の動作に類似度を増すことを示す。
  論文  参考訳（メタデータ） (2026-05-27T06:25:00Z)
• World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
  汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。 本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
  論文  参考訳（メタデータ） (2026-04-02T12:48:36Z)
• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)
• ProSpec RL: Plan Ahead, then Execute [7.028937493640123]
  将来的なnストリーム軌道を想像して,高値,低リスクの最適決定を行うProspective (ProSpec) RL法を提案する。 ProSpecは、現在の状態と一連のサンプルアクションに基づいて将来の状態を予測するために、ダイナミックモデルを使用している。 提案手法の有効性をDMControlベンチマークで検証し,本手法による性能改善を実現した。
  論文  参考訳（メタデータ） (2024-07-31T06:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。