論文の概要: Does Learning to Predict the World Help Agents Act? Auditing World-Model Post-Training

• arxiv url: http://arxiv.org/abs/2609.33335v1
• Date: Sun, 27 Sep 2026 08:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:04:54.055346
• Title: Does Learning to Predict the World Help Agents Act? Auditing World-Model Post-Training
• Title（参考訳）: 学習者は世界援助エージェント法を予測できるのか?
• Abstract要約: 訓練後、エージェントは次の観察を予測し、その予測を報酬または直接的な監視信号に変換する必要がある。 我々は、トレーニングプロセス中に、真の次の観測対象を、分布不一致の観察に置き換える。 この発見をVisualWebArenaに一般化します。そこでは、ランダムリワードトレーニングがベースモデルに対してpass@64を14.3%上昇させます。
• 参考スコア（独自算出の注目度）: 33.73456133272386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting how an environment will change before acting is a natural route to better decision making for agents. Recent post-training methods therefore require agents to predict the next observation and turn that prediction into a reward or a direct supervision signal, which is called world model. Existing next-observation training methods help the agent to learn the environmental content. However, they additionally involve an optimization process, which may introduce several effects other than learning to predict the world. Consequently, where the performance gain comes from during the training process remains an open question. We answer this research question through replacing true next-observation targets with in-distribution mismatched observations during the training process. Across two interactive text environments, mismatched targets lower prediction accuracy by 15.3-61.6% relative to ground-truth targets, yet retain substantial task gains over the base model. Compared with the base model, trained models consider more candidate actions and exhibit less looping. We also introduce a setting that replaces prediction-based rewards with independent random signals. This training expands task coverage (pass@64) even when the reward carries no environment information. We also generalize this finding to VisualWebArena, where random-reward training raises pass@64 by 14.3% relative to the base model, without observation-matching rewards or an external multimodal teacher for reward construction.
• Abstract（参考訳）: 行動する前に環境がどのように変化するかを予測することは、エージェントの意思決定を改善する自然な方法である。 そのため、最近のポストトレーニング手法では、エージェントが次の観測を予測し、その予測を報酬または直接監督信号に変換する必要がある。 既存の次の観測訓練手法は、エージェントが環境内容を学ぶのに役立つ。 しかし、これらは最適化プロセスも含み、世界を予測するための学習以外のいくつかの効果をもたらす可能性がある。 したがって、トレーニングプロセス中にパフォーマンスが向上する場所は、依然として未解決の問題である。 我々は,本研究の課題に,真の次観測目標を,トレーニング過程における分布不一致の観察に置き換えることで答える。 2つのインタラクティブテキスト環境において、ミスマッチしたターゲットは、接地目標に対して15.3-61.6%の精度で予測精度を低下させるが、ベースモデルよりもかなりのタスクゲインを維持する。 ベースモデルと比較して、トレーニングされたモデルは、より多くの候補アクションを検討し、ループを少なくする。 また、予測に基づく報酬を独立したランダム信号に置き換える設定も導入する。 このトレーニングは、報酬が環境情報を持たない場合でもタスクカバレッジ(pass@64)を拡張する。 また、この発見をVisualWebArenaに一般化し、ランダムリワードトレーニングは、観察マッチング報酬や報酬構築のための外部マルチモーダル教師なしで、ベースモデルに対してpass@64を14.3%上昇させる。

関連論文リスト

• NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
  NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。 本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
  論文  参考訳（メタデータ） (2026-09-08T03:14:54Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Representation-Based Exploration for Language Models: From Test-Time to Post-Training [50.144031964319424]
  強化学習(RL)は、言語モデルの能力を拡張することを約束する。 現在のRL技術が新しい行動の発見を促進するのか、あるいは単にベースモデルにすでに存在するものを研ぎ澄ましているのかは不明だ。 我々は、意図的な探索の価値を調査し、新しい多様な行動を発見するためのモデルを明確にインセンティブ付けする。
  論文  参考訳（メタデータ） (2025-10-13T17:49:05Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• The Distributional Reward Critic Framework for Reinforcement Learning Under Perturbed Rewards [31.550669983576544]
  報酬信号は、強化学習におけるエージェントの望ましい振る舞いを定義する上で中心的な役割を果たす。 本稿では,トレーニング中の報酬分布と摂動を推定するための分配報酬批判フレームワークを提案する。 その結果、報奨環境下でRLを実行する能力の拡大と深化が図られた。
  論文  参考訳（メタデータ） (2024-01-11T07:25:28Z)
• Self-supervised network distillation: an effective approach to exploration in sparse reward environments [0.0]
  強化学習は、事前に設計された報酬関数に従って、エージェントが環境の中で振る舞うように訓練することができる。 そのような問題の解決策は、エージェントに情報的な探索を提供する本質的な動機を与えることであるかもしれない。 本稿では, 蒸留誤差に基づく本質的な動機づけアルゴリズムである自己教師ネットワーク蒸留(SND)を新規性指標として提示する。
  論文  参考訳（メタデータ） (2023-02-22T18:58:09Z)
• Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration [83.29856873525674]
  本稿では,自己教師型学習のためのビューサンプリング問題を対象とした,軽量潜在変数モデル UOTA を提案する。 本手法は,多くの主流な自己指導型学習手法に直接応用する。
  論文  参考訳（メタデータ） (2021-12-15T14:05:23Z)
• Reward prediction for representation learning and reward shaping [0.8883733362171032]
  報酬予測のための自己監督による状態表現の学習を提案する。 我々は、ポリシー学習中に報酬予測器を用いて報酬を形作ることにより、既成のrlエージェントのトレーニングを強化する。
  論文  参考訳（メタデータ） (2021-05-07T11:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。