Fugu-MT 論文翻訳(概要): How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account

論文の概要: How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account

arxiv url: http://arxiv.org/abs/2608.30067v1
Date: Sun, 30 Aug 2026 22:21:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.170343
Title: How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account
Title（参考訳）: LLMエージェントにおける世界モデルと政策はどのように構成されるか? : 分光学的・行動学的考察
Abstract要約: 我々は世界モデルトレーニング(次世代予測)と政策トレーニング(リワード)を組み合わせる。効果的なワールドモデル更新は低ランクであり、入力機能サブスペースをポリシー更新と共有する。政策トレーニングは世界的知識をできるだけ保存するだろうか?
参考スコア（独自算出の注目度）: 15.26161647903404
License: http://creativecommons.org/licenses/by/4.0/
Abstract: How do LLM agents come to both understand environments they act in and master tasks set within them? Through controlled experiments combining world-model training (next-state prediction) and policy training (reward maximization), we investigate this question. We dissect the resulting models through their additive parameter updates. Geometrically, we find effective world-model updates are low-rank and share an input-feature subspace with policy updates while writing to nearly orthogonal output directions, whether trained separately or sequentially. However, we find that, in projection interventions, the sequential update induces more robustness than separate policy RL when removing the world model's leading input directions, suggesting that it has learned alternative input pathways. Behaviorally, we find the sequentially trained agent explores a wider range of states and actions. Based on this, we ask: does policy training preserve world knowledge as well as it could? We probe this with training-free merging built on the geometrically motivated input basis plus an online world-model loss during policy RL, and show both improve over the untreated baseline. Our findings suggest world knowledge and task-directed ability can be learned in geometrically complementary forms, and that future post-training pipelines should consider how best to engineer the interface between them.
Abstract（参考訳）: LLMエージェントはどのようにして、彼らが行動する環境を理解し、その内部に設定されたタスクをマスターするのか? 本研究では,世界モデルトレーニング(次世代予測)と政策トレーニング(回帰最大化)を組み合わせた制御実験により,この問題を考察する。加算パラメータの更新によって得られたモデルを分解する。幾何学的には、効果的な世界モデル更新は低ランクであり、政策更新と入力機能部分空間を共有しながら、個別または逐次的に訓練されたほぼ直交の出力方向に書き込む。しかし、プロジェクション介入では、このシーケンシャル更新は、世界モデルのリード入力方向を除去する際、個別のポリシーRLよりもロバスト性を高め、代替入力経路を学習したことを示唆している。行動学的には、シーケンシャルに訓練されたエージェントが、より広い範囲の州や行動を探究している。これに基づいて、我々は、政策トレーニングは世界的知識をできるだけ保存するだろうか、と問う。我々は、幾何学的に動機付けされた入力ベース上に構築されたトレーニングフリーマージと、ポリシーRL中のオンラインワールドモデル損失を用いてこれを探索し、未処理ベースラインよりも改善したことを示す。この結果から,世界知識とタスク指向能力は幾何学的に相補的な形で学習できることが示唆された。

関連論文リスト

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning [57.312638079204255]
長期ツール使用のための大規模言語モデルエージェントの訓練は、通常、実または合成可能な環境との相互作用に依存する。本研究では,世界リハーサルのトレーニング中に外部環境の相互作用を置き換えるエージェント強化学習手法であるEnvACEを紹介する。
論文参考訳（メタデータ） (2026-08-06T15:54:36Z)
When Does Continual Learning Require Learning [68.55508958298942]
継続的学習は単一の能力ではないことを示す。環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
論文参考訳（メタデータ） (2026-07-08T18:27:40Z)
AIPO: Learning to Reason from Active Interaction [54.10819421625103]
AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。 AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
論文参考訳（メタデータ） (2026-05-08T19:06:55Z)
Model Predictive Control with Differentiable World Models for Offline Reinforcement Learning [17.293286354647716]
モデル予測制御(MPC)にインスパイアされた推論時間適応フレームワークを提案する。ポリシーパラメータを最適化するために推定時情報を利用すると、強いオフラインRLベースラインよりも一貫した利得が得られることを示す。
論文参考訳（メタデータ） (2026-03-23T18:05:29Z)
Continual Reinforcement Learning by Planning with Online World Models [29.730338886371776]
連続強化学習(CRL)は、エージェントが連続的に提示される複数のタスクを解決するために、試行錯誤によって無限に進化する必要のある自然主義的な環境を指す。 CRLの最大の障害の1つは、破壊的忘れという新しいタスクを学ぶ際に、エージェントが過去のタスクをどう解決するかを忘れてしまうことである。オンライン世界モデルを用いて計画することでこの問題に対処することを提案する。具体的には、Follow-The-Leaderの浅瀬モデルをオンラインで学習し、世界ダイナミクスを捉え、モデル予測制御を用いて、報酬関数によって指定されたタスクのセットを解決することを計画している。
論文参考訳（メタデータ） (2025-07-12T07:52:31Z)
LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models [42.53342297631436]
政策探究は強化学習(RL)において重要であり、既存のアプローチには欲求、ガウス過程などが含まれる。大規模言語モデル(LLM)を用いたタスク固有探索戦略を適応的に生成するLLM-Explorerを設計する。我々の設計は、DQNシリーズ、DDPG、TD3など、広く使われているRLアルゴリズムと互換性のあるプラグインモジュールである。
論文参考訳（メタデータ） (2025-05-21T09:24:23Z)
Learning from Random Demonstrations: Offline Reinforcement Learning with Importance-Sampled Diffusion Models [19.05224410249602]
閉ループポリシー評価と世界モデル適応を用いたオフライン強化学習のための新しい手法を提案する。提案手法の性能を解析し,提案手法と実環境とのリターンギャップに上限を設けた。
論文参考訳（メタデータ） (2024-05-30T09:34:31Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文参考訳（メタデータ） (2023-06-06T02:24:41Z)
Domain Generalization for Robust Model-Based Offline Reinforcement Learning [5.653790804686631]
既存のオフライン強化学習アルゴリズムは、トレーニングデータが既知のポリシーによって生成されるか、完全に未知の起源であると仮定する。マルチデーモンストレータのオフラインRLは、各データセットをどのデモストレータが生成したかがわかる中間層であるが、デモストレータの基盤となるポリシーについては仮定しない。ドメイン不変モデルベースオフラインRL(DIMORL)を提案し,リスク外挿法(REx)をダイナミックスおよび報酬モデル学習のプロセスに適用する。
論文参考訳（メタデータ） (2022-11-27T13:37:49Z)
A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
論文参考訳（メタデータ） (2022-10-12T04:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。