論文の概要: Visualizing the World Model in an Agent's Value Function
- arxiv url: http://arxiv.org/abs/2610.14186v1
- Date: Fri, 09 Oct 2026 18:01:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.019906
- Title: Visualizing the World Model in an Agent's Value Function
- Title（参考訳）: エージェントの値関数における世界モデルの可視化
- Abstract要約: 本稿では, 政策最適化エージェントの値関数が環境の世界モデルであるかどうかを考察する。
報酬を最適化するためにのみ訓練されているにもかかわらず、値関数はダイヤモンドが収集可能なときの規則のような概念を学ぶ。
我々は、可視化の安全性と、真に先進的なマシンインテリジェンスを構築するのを阻止する現在の強化学習エージェントの欠点について論じる。
- 参考スコア（独自算出の注目度）: 8.060331660930903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Could model-free reinforcement learning algorithms actually be learning a model of the environment? In this work, we apply counterfactual interventions which hold everything about a state fixed, besides a targeted change, to explore if the value function of a Proximal Policy Optimization agent forms a world model of the Crafter environment. Despite only being trained to optimize reward, we discover that the value function learns concepts such as the rules governing when a diamond is collectible, water and food having an impact on health, heuristics regarding inventory, and more. Finally, we discuss the safety implications of our visualizations and some shortcomings of current reinforcement learning agents that will prevent us from building truly advanced machine intelligence.
- Abstract（参考訳）: モデルなし強化学習アルゴリズムは実際に環境のモデルを学ぶのか?
本研究は, 目標変更以外に, 状態の固定を全て保持する反実的介入を適用し, プロクサマルポリシー最適化エージェントの価値関数がクラフト環境の世界モデルを形成するかどうかを探索する。
報酬を最適化するためにのみ訓練されているにもかかわらず、価値関数はダイヤモンドが収集可能なときのルール、健康への影響のある水と食物、在庫に関するヒューリスティックスなどの概念を学ぶ。
最後に、可視化の安全性と、真に高度なマシンインテリジェンスを構築することを妨げる現在の強化学習エージェントの欠点について論じる。
関連論文リスト
- Predicting Consequences and Reinforcing Navigation Policies with Latent World Models [31.865100130203317]
ロボットナビゲーションのためのLWM(Latent World Model)を提案する。
我々の重要な洞察は、空間的近接は潜在的特徴の類似性と相関し、潜在的空間において行動結果を直接評価できるということである。
提案手法は,予測精度,ポリシー学習,実世界のナビゲーション性能において,前世界モデルと模倣学習法を著しく上回っている。
論文 参考訳（メタデータ） (2026-08-23T11:58:42Z) - RISE: Self-Improving Robot Policy with Compositional World Model [52.227523057681786]
我々は、想像力によるロボット強化学習のスケーラブルなフレームワークRISEを紹介する。
中心となるのは構成的世界モデルであり、制御可能なダイナミクスモデルを通じて多視点の未来を予測し、(ii)進捗値モデルを用いて想像結果を評価する。
これらのコンポーネントはクローズドループの自己改善パイプラインに統合され、虚構のロールアウトを継続的に生成し、利点を推定し、コストのかかる物理的相互作用なしに虚構空間のポリシーを更新する。
論文 参考訳（メタデータ） (2026-02-11T17:43:36Z) - World Models for Cognitive Agents: Transforming Edge Intelligence in Future Networks [55.90051810762702]
本稿では,世界モデルを概観し,そのアーキテクチャ,トレーニングパラダイム,予測,生成,計画,因果推論といった応用を概観する。
ワイヤレスエッジインテリジェンス最適化に適した,新しい世界モデルに基づく強化学習フレームワークであるWireless Dreamerを提案する。
論文 参考訳（メタデータ） (2025-05-31T06:43:00Z) - SOLD: Slot Object-Centric Latent Dynamics Models for Relational Manipulation Learning from Pixels [16.020835290802548]
Slot-Attention for Object-centric Latent Dynamicsは、新しいモデルに基づく強化学習アルゴリズムである。
画素入力から教師なしの方法でオブジェクト中心のダイナミックスモデルを学習する。
構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。
論文 参考訳（メタデータ） (2024-10-11T14:03:31Z) - Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。
この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
論文 参考訳（メタデータ） (2021-12-07T18:50:42Z) - Online reinforcement learning with sparse rewards through an active
inference capsule [62.997667081978825]
本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。
我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。
また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T10:03:36Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Mutual Information-based State-Control for Intrinsically Motivated
Reinforcement Learning [102.05692309417047]
強化学習において、エージェントは、外部報酬信号を用いて一連の目標に到達することを学習する。
自然界では、知的生物は内部の駆動から学習し、外部の信号を必要としない。
目的状態と制御可能な状態の間の相互情報として本質的な目的を定式化する。
論文 参考訳（メタデータ） (2020-02-05T19:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。